[論文レビュー] Geometry-Complete Diffusion for 3D Molecule Generation and Optimization

Alex Morehead, Jianlin Cheng|arXiv (Cornell University)|Feb 8, 2023

Analytical Chemistry and Chromatography被引用数 7

ひとこと要約

本稿では、幾何学的完全なメッセージパッシングを備えたSE(3)-等長的グラフニューラルネットワークを用いて、ノイズ除去の過程で幾何学的・物理的事前知識を学習する、新しい3次元分子生成フレームワークであるGeometry-Complete Diffusion Model (GCDM) を提案する。GCDMはQM9およびGEOM-Drugsで最先端の性能を達成し、安定的で現実的である大規模な分子を生成するとともに、再訓練を必要とせずに既存の分子を特定の性質に最適化することができる。

ABSTRACT

Denoising diffusion probabilistic models (DDPMs) have pioneered new state-of-the-art results in disciplines such as computer vision and computational biology for diverse tasks ranging from text-guided image generation to structure-guided protein design. Along this latter line of research, methods have recently been proposed for generating 3D molecules using equivariant graph neural networks (GNNs) within a DDPM framework. However, such methods are unable to learn important geometric properties of 3D molecules, as they adopt molecule-agnostic and non-geometric GNNs as their 3D graph denoising networks, which notably hinders their ability to generate valid large 3D molecules. In this work, we address these gaps by introducing the Geometry-Complete Diffusion Model (GCDM) for 3D molecule generation, which outperforms existing 3D molecular diffusion models by significant margins across conditional and unconditional settings for the QM9 dataset and the larger GEOM-Drugs dataset, respectively, and generates more novel and unique unconditional 3D molecules for the QM9 dataset compared to previous methods. Importantly, we demonstrate that the geometry-complete denoising process of GCDM learned for 3D molecule generation enables the model to generate a significant proportion of valid and energetically-stable large molecules at the scale of GEOM-Drugs, whereas previous methods fail to do so with the features they learn. Additionally, we show that extensions of GCDM can not only effectively design 3D molecules for specific protein pockets but also that GCDM's geometric features can be repurposed to consistently optimize the geometry and chemical composition of existing 3D molecules for molecular stability and property specificity, demonstrating new versatility of molecular diffusion models. Our source code and data are freely available at https://github.com/BioinfoMachineLearning/Bio-Diffusion.

研究の動機と目的

• 既存の3次元分子拡散モデルが、幾何学的でない、分子に依存しないGNNにより、重要な幾何学的・物理的性質を学習できないという限界を是正すること。
• 従来のモデルが困難としているGEOM-Drugsデータセットに含まれるような大規模な3次元分子へも効果的にスケーリング可能な生成モデルを開発すること。
• 幾何学的拡散モデルが、ファインチューニングや再訓練を経ずに、分子最適化タスクに再利用可能かどうかを検証すること。
• 拡散フレームワークに、ケイラリティや不変注意機構といった物理的インダクティブバイアスを統合することで、3次元分子生成の新しい最先端を確立すること。

提案手法

• GCDMは、GCPNet++を用いて、ベクトル特徴を有する3次元分子グラフのノイズ除去に幾何学的完全なメッセージパッシングフレームワークを採用し、SE(3)の等長性を保証する。
• ノイズ除去拡散確率的フレームワークを採用しており、ノイズが繰り返し除去される過程で現実的な構造が生成される。
• 幾何的正確性と生成分子の妥当性を向上させるために、不変グラフ注意機構や分子ケイラリティといった物理的インダクティブバイアスを組み込む。
• 訓練目的関数は標準的なDDPM損失であり、予測ノイズと真値ノイズの加重MSEであり、最適な生成のためにはw(t) = 1とする。
• 統一されたグラフノイズ除去プロセスを通じて、原子種別、電荷、3次元座標を予測することで、非条件および条件付きの3次元分子生成を実現する。
• 学習済みの幾何的特徴を活用することで、再訓練を経ずに既存の分子を特定の性質に段階的に改善できるため、直接的な分子最適化を可能にする。

Figure 1: A framework overview for our proposed Geometry-Complete Diffusion Model ( GCDM ). Our framework consists of ( i. ) a graph (topology) definition process, ( ii. ) a GCPNet -based graph neural network for 3D graph representation learning, ( iii. ) denoising of 3D input graphs using GCPNet++

実験結果

リサーチクエスチョン

• RQ1 SE(3)-等長的で幾何学的完全なメッセージパッシングを組み込んだ拡散モデルは、非幾何的対応モデルに比べ、より現実的で安定した3次元分子を生成できるか？
• RQ2 ケイラリティや不変注意機構といった物理的インダクティブバイアスの組み込みが、生成された3次元分子の妥当性と品質を向上させるか？
• RQ3 1つの事前学習済み幾何的拡散モデルが、ファインチューニングや再訓練を経ずに、分子最適化タスクに効果的に再利用可能か？
• RQ4 GEOM-Drugsデータセットに含まれるような大規模な3次元分子に対して、GCDMは従来の手法が失敗するスケールでも優れた性能を示すか？
• RQ5 GCDMは、非幾何的拡散モデルに比べ、タンパク質パッチ条件付き3次元分子生成および直接的な分子最適化において優れた性能を示すか？

主な発見

• QM9データセットにおける非条件および条件付き3次元分子生成において、GCDMは妥当性、安定性、性質特異性の面で、先行手法を上回る最先端の性能を達成した。
• GEOM-Drugsデータセットでは、GCDMは従来の手法が幾何学的学習が不十分であるために失敗する大規模で現実的かつ安定した3次元分子を効果的に生成した。
• GCDMは、再訓練を経ずに既存の3次元分子を特定の分子性質に最適化できる能力を示し、幾何的拡散モデルにおいて初の成果である。
• モデルの幾何学的完全なノイズ除去プロセスにより、ケイラリティや結合角といった重要な物理的・幾何学的性質を学習・保持できるようになった。
• タンパク質パッチ条件付き3次元分子生成においても、GCDMは競争力のある結果を達成し、ドラッグデザイン応用における強い可能性を示した。
• GCPNet++におけるSE(3)-等長的でベクトルベースのメッセージパッシングは、従来のスカラーのみのメッセージパッシングに比べ、顕著な幾何学的一般化性能を向上させた。