[論文レビュー] E(n) Equivariant Normalizing Flows

Victor García Satorras, Emiel Hoogeboom+3 more|arXiv (Cornell University)|May 19, 2021

Machine Learning in Materials Science参考文献 42被引用数 7

ひとこと要約

この論文は、3次元分子構造の可逆的かつ等長的変換をモデル化するために、E(n)-等長的グラフニューラルネットワーク（EGNN）をダイナミクス関数として用いる連続時間正規化フローであるE(n)等長的正規化フロー（E-NFs）を導入する。E-NFsは粒子系および分子において最先端の対数尤度性能を達成し、QM9で4.9%の安定分子と93.28%の新規性を達成するなど、安定的かつ妥当な3次元分子構造を生成する。非等長的および既存の等長的生成モデルを上回る性能を示す。

ABSTRACT

This paper introduces a generative model equivariant to Euclidean symmetries: E(n) Equivariant Normalizing Flows (E-NFs). To construct E-NFs, we take the discriminative E(n) graph neural networks and integrate them as a differential equation to obtain an invertible equivariant function: a continuous-time normalizing flow. We demonstrate that E-NFs considerably outperform baselines and existing methods from the literature on particle systems such as DW4 and LJ13, and on molecules from QM9 in terms of log-likelihood. To the best of our knowledge, this is the first flow that jointly generates molecule features and positions in 3D.

研究の動機と目的

• 3次元分子データに対してユークリッド変換（回転、平行移動、反転）の等長的性質を持つ生成モデルの開発。
• 原子の位置と特徴を併せて扱う、強力で安定的かつ等長的な正規化フローの欠如を是正すること。
• 安定な学習ダイナミクスを有する連続時間正規化フロー枠組みにEGNNを統合することで、サンプル品質と尤度を向上させること。
• 1つの可逆的かつ微分可能なフロー内で、原子特徴と3次元座標を同時に生成すること。

提案手法

• E-NFsは連続時間正規化フローを用い、ダイナミクスがE(n)-等長的EGNNによってパラメータ化されており、フロー全体がユークリッド変換に対して等長的であることを保証する。
• ODEベースのフローとしての導関数として使用するにあたり、EGNNに修正された残差接続と正規化を適用し、安定性を確保する。
• ジャコビアンのトレースをハッチンソン推定法により推定する連続時間の変数変換公式を採用する。
• 離散的原子特徴を連続空間に引き上げるためにデクアンタイゼーションを適用し、微分可能なモデリングを可能にする。
• 連続時間の変数変換公式を用いて尤度最大化により学習を実行し、学習安定性を向上させるために正則化を施す。
• 生成された分子は、RDKitを用いて3次元座標をSMILES記法に変換することで妥当性、一意性、新規性を評価する。

実験結果

リサーチクエスチョン

• RQ1 原子の位置と特徴を3次元で同時に生成しつつ、回転、平行移動、反転を含むE(n)群の完全な等長的性質を持つ正規化フローを設計できるか？
• RQ2 非等長的および既存の等長的生成モデルと比較して、E-NFの対数尤度と分子の安定性においてどのような性能差を示すか？
• RQ3 QM9で学習した場合、E-NFsは化学的に妥当で新規な分子構造をどの程度生成できるか？
• RQ4 E(n)等長的性質は、生成された3次元分子構造の品質と多様性にどのような影響を与えるか？
• RQ5 後処理やフィルタリングなしに、1回の生成で安定した分子を生成できるか？

主な発見

• DW4、LJ13、QM9データセットにおいて、E-NFsは非等長的および既存の等長的ベースラインを著しく上回る最先端の対数尤度性能を達成する。
• QM9データセットでは、E-NFsは4.9%の安定分子を生成したのに対し、最良のベースラインはたった0.5%にとどまり、構造的安定性の顕著な向上が示された。
• 安定分子のうち99.80%が一意的で、93.28%が新規であるため、生成された分子構造の多様性と独自性が非常に高いことが示された。
• 平均で85%の妥当な原子を生成し、最良のベースラインの75%を上回った。これは原子レベルの正確性が向上したことを示している。
• 計算コストが高いため、一部の訓練ランで稀に発散が観察されたが、多くの訓練ランで安定性を維持した。特にQM9の3番目の実験で発生した。
• 定性的なサンプルでは、一部の生成分子に軽微な構造的誤り（誤った結合価数や結合性）が見られたが、安定な分子は主に化学的に正確で、二重結合や三重結合を含む正しい結合パターンを有していた。