[論文レビュー] GraphEBM: Molecular Graph Generation with Energy-Based Models

Meng Liu, Keqiang Yan+2 more|arXiv (Cornell University)|Jan 31, 2021

Machine Learning in Materials ScienceMaterials Science被引用数 20

ひとこと要約

GraphEBMは、エネルギー関数をグラフニューラルネットワークでパrameter化することで、置換不変性を持つエネルギーに基づくモデルを提案し、ランジュバンダイナミクスを用いた学習と、分子特性に基づくエネルギー得点の調整による柔軟で目的指向の生成を可能にする。複数のベンチマークにおいて、有効性、一意性、新規性の面で最先端の性能を達成しており、QM9では100%の有効性と97.01%の新規性、ZINC250kでは99.96%の有効性と100%の新規性を達成している。

ABSTRACT

We note that most existing approaches for molecular graph generation fail to guarantee the intrinsic property of permutation invariance, resulting in unexpected bias in generative models. In this work, we propose GraphEBM to generate molecular graphs using energy-based models. In particular, we parameterize the energy function in a permutation invariant manner, thus making GraphEBM permutation invariant. We apply Langevin dynamics to train the energy function by approximately maximizing likelihood and generate samples with low energies. Furthermore, to generate molecules with a desirable property, we propose a simple yet effective strategy, which pushes down energies with flexible degrees according to the properties of corresponding molecules. Finally, we explore the use of GraphEBM for generating molecules with multiple objectives in a compositional manner. Comprehensive experimental results on random, goal-directed, and compositional generation tasks demonstrate the effectiveness of our proposed method.

研究の動機と目的

• 既存の分子グラフ生成手法における置換不変性の欠如によるバイアスを解消すること。
• グラフニューラルネットワークによるエネルギー関数のパrameter化を通じて、本質的に置換不変性を保つ新しいエネルギーに基づくモデル（GraphEBM）を構築すること。
• 望ましい分子特性に基づいてエネルギー得点を調整することで、柔軟に目的指向の分子生成を可能にすること。
• 複数の目的を同時に満たす分子の構成的生成を可能とし、従来の手法では実現できなかった能力を実現すること。
• ランダム生成、目的指向生成、およびマルチオブジェクティブ生成の各タスクにおいて、優れた性能を示すこと。

提案手法

• ノード特徴量Xと隣接テンソルAを処理するグラフニューラルネットワークを用いて、エネルギー関数Eθ(X,A)をパrameter化し、対称的集約により置換不変性を確保する。
• 最大尤度を近似するためにランジュバンダイナミクスを用いてエネルギー関数を学習し、未正規化ボルツマン分布e^(-Eθ(X,A))からのサンプリングを実現する。
• 目標分子特性（例：QED、pLogP）に基づいてエネルギー得点を低下させる柔軟な戦略を導入し、特性依存の項をエネルギー関数に組み込むことで、目的指向生成を可能にする。
• 複数の特性固有のエネルギー関数を統合して単一の合成エネルギー関数にすることで、複数の目的を同時に最適化可能な構成的生成を実現する。
• サイズが異なる分子間でグラフ次元を標準化するためにバーチャルノードとバーチャルエッジを活用し、トレーニングおよび生成中に構造的一致性を維持する。
• ランジュバンダイナミクスの初期化点としてトレーニングセット内の既存の分子を活用することで、サンプル品質と目的指向生成における収束性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 置換不変性を保つように設計されたエネルギーに基づくモデルは、ノード順序によるバイアスを排除できるか？
• RQ2 ランジュバンダイナミクスは、高い有効性と新規性を維持しつつ、エネルギーに基づくモデルの学習に効果的に適用できるか？
• RQ3 エネルギー関数を、目標特性に与える影響度を調整可能な柔軟な方法で変更可能か？
• RQ4 GraphEBMは、従来の手法が実現できないように、複数の望ましい特性を同時に満たす分子の構成的生成を実現できるか？
• RQ5 多様な分子生成ベンチマークにおいて、GraphEBMは有効性、一意性、新規性の面で最先端のモデルと比較して優れた性能を示すか？

主な発見

• QM9データセットでは、GraphEBMは100.00%の有効性、97.90%の一意性、97.01%の新規性を達成し、すべての指標で既存手法を上回った。
• ZINC250kデータセットでは、GraphEBMは99.96%の有効性、98.79%の一意性、100.00%の新規性を達成し、ほぼ完璧な有効性と完全な新規性を示した。
• QEDの目的指向生成において、GraphEBMはQEDスコアが最大0.92に達する新規分子を発見し、ベースライン手法を著しく上回った。
• Tanimoto類似度≥0.8の制約付き特性最適化において、GraphEBMは初期分子と構造的に類似したまま、pLogPスコアを向上させた分子を効果的に生成した。
• 複数の特性固有のエネルギー関数を統合して合成エネルギー関数にすることで、GraphEBMは複数の目的を同時に満たす分子の生成を可能とし、従来のアプローチに欠けていた能力を実現した。
• 生成プロセスの可視化により、GraphEBMが反復的なランジュバンサンプリングを通じて意味のある分子構造を学習しており、安定した収束と妥当な化学的結合性を示していることが確認された。