[論文レビュー] Equivariant Diffusion for Molecule Generation in 3D

Emiel Hoogeboom, Victor García Satorras+2 more|arXiv (Cornell University)|Mar 31, 2022

Machine Learning in Materials Science被引用数 118

ひとこと要約

3D座標と原子種特徴を同時にノイズ除去するE(3) 同変拡散モデル(EDM)を導入し、分子を生成。確率的尤度フレームワークを備え、従来の3D分子生成器より実証的に大きな改善を示す。

ABSTRACT

This work introduces a diffusion model for molecule generation in 3D that is equivariant to Euclidean transformations. Our E(3) Equivariant Diffusion Model (EDM) learns to denoise a diffusion process with an equivariant network that jointly operates on both continuous (atom coordinates) and categorical features (atom types). In addition, we provide a probabilistic analysis which admits likelihood computation of molecules using our model. Experimentally, the proposed method significantly outperforms previous 3D molecular generative methods regarding the quality of generated samples and efficiency at training time.

研究の動機と目的

• Euclidean symmetries (E(3))を尊重した3D分子生成の必要性を動機付ける。
• 拡散フレームワークで連続座標と離散原子特徴を共同でモデル化するEDMを提案する。
• 提案モデルの下で生成分子の tractable な尤度計算を実現する。
• 品質と効率の点で、従来の3D分子生成アプローチを凌ぐことを実証する。

提案手法

• 座標 x と特徴 h に作用する等変なデノイジング拡散モデルを定義する。
• 等変な方法でデノイズされたノイズを予測するEGNNベースのダイナミクス phi を用いる。
• L_t項を用いた尤度目的とεを予測する実用的なノイズパラメータ化を組み込む。
• 離散原子タイプをワンホットエンコーディングと x および h に適切な尤度項で処理する。
• x の重心ゼロの重力制約を組み込み、学習を安定化させるために特徴をスケーリングする。
• 性質 c をデノイジングネットワーク入力に組み込むことで条件付き生成を可能にする。

実験結果

リサーチクエスチョン

• RQ1 E(3) 同変拡散モデルは固定された原子並び順なく3D分子の構型と原子タイプを生成できるか？
• RQ2 EDMはQM9上で従来の等変方法（例：E-NF、G-Schnet）と比べて対数尤度と分子安定性を改善するか？
• RQ3 より大規模な薬物様データセットへ効率的に訓練・スケールでき、かつ tractable な尤度を提供できるか？
• RQ4 離散的な原子特徴（タイプと電荷）は連続座標と共に共同拡散過程へどのように統合されるか？
• RQ5 分子特性による条件付けが標的分子生成に与える影響はどのようか？

主な発見

指標	E-NF	G-Schnet	GDM	GDM-aug	EDM (ours)
NLL	-59.7	N.A	-94.7	-92.5	-110.7 ±1.5
Atom stable (%)	85.0	95.7	97.0	97.6	98.7 ±0.1
Mol stable (%)	4.9	68.1	63.2	71.6	82.0 ±0.4

• EDMはベースラインより有利な負の対数尤度を達成（-110.7 ± 1.5）※基準は E-NF -59.7、G-Schnet N.A、GDM -94.7、GDM-aug -92.5。
• 原子安定性は EDM が 98.7 ± 0.1% で、ベースラインより高い（85.0%、95.7%、97.0%、97.6%）。
• 分子安定性は EDM が 82.0 ± 0.4% で、ベースラインより高い（4.9%、68.1%、63.2%、71.6%）。
• EDM は他の競合モデルより 3D でより多くの有効かつ唯一の分子を生成（表2の結果：97.5 ± 0.2% 有効、H を含めた場合 94.3 ± 0.2% 有効かつ一意）。
• EDM は GEOM-Drugs のようなより大規模データセットにもより効率的に訓練・スケール可能で、従来の3D拡散法・正規化フロー法を上回る。