[論文レビュー] E(n) Equivariant Normalizing Flows for Molecule Generation in 3D

Victor García Satorras, Emiel Hoogeboom+3 more|arXiv (Cornell University)|May 19, 2021

Machine Learning in Materials Science被引用数 17

ひとこと要約

本論文では、連続時間正規化フローにE(n)等変換グラフニューラルネットワークを統合することで、3次元分子を生成する可能性を学習する、尤度ベースの生成モデルであるE(n)等変換正規化フロー（E-NFs）を提案する。この手法は、QM9の3次元粒子系および分子において、最先端の対数尤度性能を達成し、正確なE(n)等変換性を備えた最初の尤度ベースの3次元分子生成モデルである。

ABSTRACT

This paper introduces a generative model equivariant to Euclidean symmetries: E(n) Equivariant Normalizing Flows (E-NFs). To construct E-NFs, we take the discriminative E(n) graph neural networks and integrate them as a differential equation to obtain an invertible equivariant function: a continuous-time normalizing flow. We demonstrate that E-NFs considerably outperform baselines and existing methods from the literature on particle systems such as DW4 and LJ13, and on molecules from QM9 in terms of log-likelihood. To the best of our knowledge, this is the first likelihood-based deep generative model that generates molecules in 3D.

研究の動機と目的

• 3次元分子構造を、回転および平行移動に対する正確な不変性（等変換性）を保ちながら生成できる深層生成モデルの開発。
• 連続時間正規化フロー枠組みにE(n)等変換メッセージパッシングニューラルネットワークを統合し、逆写像可能で等変換性を保つ生成を実現。
• 3次元分子および粒子系、特にQM9およびDW4やLJ13といったベンチマークデータセットにおいて、最先端の対数尤度性能を達成。
• 3次元分子の尤度ベース生成モデルを確立する。これは、3次元生成分野における関心の高まりにもかかわらず、文献における空白であった。

提案手法

• モデルは、連続正規化フローにおけるニューラルネットワーク部としてE(n)等変換グラフニューラルネットワークを用い、回転および平行移動に対する等変換性を保証する。
• フローは、GNNから得られる学習されたベクトル場によって定義され、ODEソルバーを用いて統合され、逆写像可能な変換が生成される。
• 正規化フローは、対数密度の変化をヤコビ行列のトレースによって計算することで、尤度最大化を用いてエンドツーエンドで訓練される。
• アーキテクチャは、原子の位置と特徴を処理する等変換性を持つGNNから構築されたフローのベクトル場により、正確なE(n)等変換性を維持する。
• モデルは3次元粒子系および分子で訓練され、生成には潜在空間のサンプリングが用いられる。
• この手法により、生成と尤度評価の両方が可能となり、他の尤度ベースモデルとの直接比較が可能になる。

実験結果

リサーチクエスチョン

• RQ1 3次元分子生成において、正確にユークリッド対称性（E(n)）に等変換性を持つ正規化フローを設計できるか？
• RQ2 E(n)等変換性は、非等変換ベースラインと比較して、3次元分子および粒子系における対数尤度と生成品質をどのように向上させるか？
• RQ3 正確な幾何的不変性を保ちながら、尤度ベースモデルが3次元分子生成で最先端の性能を達成できるか？
• RQ4 等変換GNNを連続正規化フロー枠組みに統合し、逆写像可能な生成モデリングが可能か？

主な発見

• E-NFsは、QM9データセットにおいて、3次元分子生成分野で最先端の対数尤度性能を達成し、既存手法を上回る。
• ベンチマーク3次元粒子系、特にDW4およびLJ13においても、対数尤度の観点で優れた性能を示す。
• E-NFsは、正確なE(n)等変換性を維持する最初の尤度ベースの深層生成モデルである。
• E(n)等変換GNNを連続正規化フローに統合することで、高品質な生成と正確な尤度計算の両方が実現可能となった。