[論文レビュー] MDM: Molecular Diffusion Model for 3D Molecule Generation

Lei Huang, Hengtong Zhang+2 more|arXiv (Cornell University)|Sep 13, 2022

Innovative Microfluidic and Catalytic Techniques Innovation被引用数 9

ひとこと要約

本稿では、共有結合およびファンデルワールス相互作用の両方を二重等長エンコーダーを用いて明示的にモデル化することで、3次元分子生成を向上させるMDMという分子拡散モデルを提案する。さらに、ラングジュアンダイナミクスにおける多様性を向上させるために、分布的制御変数を導入している。MDMは、GEOMデータセットにおいて、前人最高の31.4%の新規性と4.1%高い一意性を達成し、先行研究の最先端モデルを顕著に上回っている。

ABSTRACT

Molecule generation, especially generating 3D molecular geometries from scratch (i.e., 3D extit{de novo} generation), has become a fundamental task in drug designs. Existing diffusion-based 3D molecule generation methods could suffer from unsatisfactory performances, especially when generating large molecules. At the same time, the generated molecules lack enough diversity. This paper proposes a novel diffusion model to address those two challenges. First, interatomic relations are not in molecules' 3D point cloud representations. Thus, it is difficult for existing generative models to capture the potential interatomic forces and abundant local constraints. To tackle this challenge, we propose to augment the potential interatomic forces and further involve dual equivariant encoders to encode interatomic forces of different strengths. Second, existing diffusion-based models essentially shift elements in geometry along the gradient of data density. Such a process lacks enough exploration in the intermediate steps of the Langevin dynamics. To address this issue, we introduce a distributional controlling variable in each diffusion/reverse step to enforce thorough explorations and further improve generation diversity. Extensive experiments on multiple benchmarks demonstrate that the proposed model significantly outperforms existing methods for both unconditional and conditional generation tasks. We also conduct case studies to help understand the physicochemical properties of the generated molecules.

研究の動機と目的

• 既存の拡散ベースの3次元分子生成モデルが大規模分子の取り扱いや多様性の低さという限界を抱えているのを是正すること。
• 3次元ポイントクラウド表現における明示的な原子間力モデルの欠如が、正確な局所制約学習を妨げているのを克服すること。
• 各拡散ステップに分布的制御変数を導入することで、潜在空間の徹底的探索を可能にし、生成多様性を向上させること。
• 妥当性と安定性を維持したまま、所望の物理的・化学的性質を持つ分子を高品質に条件付き生成できること。

提案手法

• MDMは、共有結合距離閾値内に存在する原子対に対して、結合に類似したリンクを3次元ポイントクラウドに追加し、強い原子間力を明示的にモデル化する。
• 強度の異なる原子間力（共有結合：短距離、ファンデルワールス：長距離）を別々の等長ニューラルネットワークで符号化することで、幾何学的正確性を向上させる。
• 各拡散および逆方向ステップに分布的制御変数を導入し、潜在分布からのサンプリングを可能にすることで、探索を促進し多様性を向上させる。
• スコアベースのノイズ除去とラングジュアンダイナミクスを組み合わせ、現在の幾何学的構造と制御変数に条件付けられた生成により、安定的かつ妥当な3次元分子を生成する。
• 条件付き生成は、HOMO、LUMO、双極子モーメントなどのプロパティベクトルを原子特徴と連結することで、逆方向プロセスに条件づけることで実現する。
• トレーニングパイプラインは、QM9のサブセットで微調整されたプロパティ分類器を活用し、条件付き生成をガイドする。評価は、予測されたプロパティにおける平均絶対誤差（MAE）を用いる。

実験結果

リサーチクエスチョン

• RQ1 3次元ポイントクラウドにおける原子間力の明示的モデル化は、複雑な幾何構造を有する大規模で安定した分子の生成を改善できるか？
• RQ2 各拡散ステップに分布的制御変数を導入することで、生成された3次元分子の多様性が顕著に向上するか？
• RQ3 条件付き生成設定において、望ましい物理的・化学的性質を持つ分子を生成する際、高い妥当性と安定性を維持できるか？
• RQ4 局所制約モデルの品質が低いことが問題となるGEOMのような大規模分子ベンチマークにおいて、本モデルはどのように性能を発揮するか？

主な発見

• MDMはGEOMデータセットで31.4%の新規性スコアを達成し、前回のSOTAモデルであるEDMより4.1%高い。
• QM9データセットでは、HOMO-LUMOギャップのMAEを0.044に低減し、EDM（0.655）を上回り、一部のケースでQM9の下限（Lower-Bound）MAE 0.064をも下回った。
• 条件付き生成において優れた性能を示し、Naiveや#Atomsといったベースラインモデルと比較して、全6つのプロパティでMAEスコアが一貫して低かった。
• 事例研究により、静電率の値を補間することで期待される構造的変化を示す分子が生成されることを確認し、本モデルの分子形状制御能力を裏付けた。
• MDMは、多様性が向上したにもかかわらず、すべての生成タスクで高い妥当性と安定性を維持した。
• 分布的制御変数の導入により、より多様で構造的に異なる分子が生成され、サンプリング時の潜在空間探索の有効性が確認された。