[論文レビュー] A Group Symmetric Stochastic Differential Equation Model for Molecule Multi-modal Pretraining

Shengchao Liu, Weitao Du+3 more|arXiv (Cornell University)|May 28, 2023

Computational Drug Discovery Methods被引用数 6

ひとこと要約

この論文では、2次元トポロジーと3次元幾何学からの共同表現を学習することにより、マルチモーダルな分子事前学習を可能にするグループ対称確率微分方程式モデル、MoleculeSDEを提案する。2次元グラフから3次元コンformationを、逆に3次元幾何学から2次元トポロジーを直接入力空間で生成するSE(3)-同変かつ反射反対称なSDEを活用することで、より緊密な相互情報量推定が達成され、32件の下流タスクのうち26件で最先端性能を達成した。

ABSTRACT

Molecule pretraining has quickly become the go-to schema to boost the performance of AI-based drug discovery. Naturally, molecules can be represented as 2D topological graphs or 3D geometric point clouds. Although most existing pertaining methods focus on merely the single modality, recent research has shown that maximizing the mutual information (MI) between such two modalities enhances the molecule representation ability. Meanwhile, existing molecule multi-modal pretraining approaches approximate MI based on the representation space encoded from the topology and geometry, thus resulting in the loss of critical structural information of molecules. To address this issue, we propose MoleculeSDE. MoleculeSDE leverages group symmetric (e.g., SE(3)-equivariant and reflection-antisymmetric) stochastic differential equation models to generate the 3D geometries from 2D topologies, and vice versa, directly in the input space. It not only obtains tighter MI bound but also enables prosperous downstream tasks than the previous work. By comparing with 17 pretraining baselines, we empirically verify that MoleculeSDE can learn an expressive representation with state-of-the-art performance on 26 out of 32 downstream tasks.

研究の動機と目的

• 既存のマルチモーダル分子事前学習手法が表現空間における相互情報量（MI）の近似に依存することで構造的情報を損なうという限界に対処すること。
• 表現空間ではなく、入力空間（2次元トポロジーと3次元幾何学）で直接生成モデリングを行うことで、MI推定の精度を向上させること。
• 物理的対称性を備えたSDEを用いて、2次元トポロジーから高品質な3次元コンformationを生成し、下流の幾何モデリングを支援すること。
• 多様な下流タスク、特に分子性質予測とコンformation生成タスクで最先端性能を達成すること。
• 分子表現学習において、コントラスト学習と生成学習を統合し、グループ対称性制約を組み合わせた統一フレームワークを提供すること。

提案手法

• MoleculeSDEは、3次元コンformationから2次元トポロジーへの逆ノイズ除去プロセス、および2次元トポロジーから3次元コンformationへのプロセスをモデル化する確率微分方程式（SDE）フレームワークを採用する。
• 2次元から3次元への生成には、回転および並進対称性を保持するSE(3)-同変SDEを用い、3次元幾何学の物理的整合性を確保する。
• 3次元から2次元への生成には、SE(3)-不変SDEを用い、ノードおよびエッジの種類などの不変特徴に焦点を当て、モダリティの整合性を維持する。
• 表現の整合性と生成の忠実度を同時に最適化するために、EBM-NCEを用いたコントラスト学習と生成学習の目的関数を統合する。
• ニューラルネットワークアーキテクチャにグループ対称性（SE(3)-同変性および反射反対称性）を明示的に組み込み、幾何的不変性を保持する。
• 代理ベースのMI推定を避けるために、直接的にデータ空間での生成モデリングを行うことで、より緊密なMIバウンディングと情報損失の低減を実現する。

実験結果

リサーチクエスチョン

• RQ1 対称SDEを用いた入力空間における直接的生成モデリングは、代理ベースの手法よりも2次元分子トポロジーと3次元コンformation間の相互情報量推定をより緊密に行えるか？
• RQ2 SDEベースの生成プロセスにおいてSE(3)-同変性および反射反対称性を強制することで、生成された3次元コンformationの品質と物理的妥当性が向上するか？
• RQ3 MoleculeSDEは、2次元-3次元の統合的事前学習を活用することで、多様な下流タスクにおける分子性質予測性能を最先端水準にまで引き上げられるか？
• RQ4 標準ベンチマーク上での既存の2次元、3次元、マルチモーダル事前学習ベースラインと比較して、MoleculeSDEの性能と効率性はどの程度か？
• RQ5 MoleculeSDEは、2次元トポロジーのみから高品質な3次元コンformationをどの程度生成できるか。これにより、下流の幾何モデリングが可能になるか？

主な発見

• MoleculeSDEは、32件の下流タスクのうち26件で最先端性能を達成し、多様な分子性質予測ベンチマークで17の事前学習ベースラインを大きく上回った。
• MD17力予測ベンチマークでは、MoleculeSDE（VE）がアスピリンについて平均絶対誤差0.421を達成し、2番目に優れた手法（GeoSSL-DDM）の0.427を上回った。
• GEOM QM9におけるコンformation生成では、MoleculeSDEがカバレッジ（COV）92.37%、平均絶対誤差（MAT）0.2423 Åを達成し、DMGC や ConfGF といった先行手法を上回った。
• GEOM Drugsでは、MoleculeSDEが85.42%のカバレッジと0.9485 ÅのMATを達成し、RMCF-C（87.12% COV、0.749 Å MAT）よりもカバレッジで優れており、MAT性能に近い水準に達した。
• MoleculeSDEの計算コストは、1エポックあたり1つのV100 GPUで30分であり、単純な2次元または3次元SSL手法よりも高いが、優れた性能を裏付けるものである。
• アブレーションスタディにより、対称SDEと直接的な入力空間生成が、GraphMVPのような代理ベース手法よりもより正確なMI推定と優れた下流性能をもたらすことが確認された。