[論文レビュー] Gated Graph Recursive Neural Networks for Molecular Property Prediction

Hiroyuki Shindo, Yūji Matsumoto|arXiv (Cornell University)|Aug 31, 2019

Machine Learning in Materials Science参考文献 30被引用数 9

ひとこと要約

本稿では、3次元原子座標を用い、共有パラメータとスキップ接続を活用することで、効率的で高精度な分子性質予測を実現する、新しいグラフニューラルネットワークであるGated Graph Recursive Neural Networks (GGRNet)を提案する。GGRNetは、QM7b、QM8、QM9ベンチマークにおいて、ほとんどの分子性質回帰タスクで先行手法を上回る最先端の性能を達成した。

ABSTRACT

Molecule property prediction is a fundamental problem for computer-aided drug discovery and materials science. Quantum-chemical simulations such as density functional theory (DFT) have been widely used for calculating the molecule properties, however, because of the heavy computational cost, it is difficult to search a huge number of potential chemical compounds. Machine learning methods for molecular modeling are attractive alternatives, however, the development of expressive, accurate, and scalable graph neural networks for learning molecular representations is still challenging. In this work, we propose a simple and powerful graph neural networks for molecular property prediction. We model a molecular as a directed complete graph in which each atom has a spatial position, and introduce a recursive neural network with simple gating function. We also feed input embeddings for every layers as skip connections to accelerate the training. Experimental results show that our model achieves the state-of-the-art performance on the standard benchmark dataset for molecular property prediction.

研究の動機と目的

• 大規模な分子スクリーニングにおける量子化学的シミュレーションの高コストな計算を解決すること。
• スケーラブルで正確かつ表現力に富んだグラフニューラルネットワークを、分子表現学習のために開発すること。
• すべての原子ペア間での空間的情報と再帰的メッセージパッシングを活用することで、分子性質予測を向上させること。
• スキップ接続と層間の共有パラメータを用いて、学習を高速化すること。
• 標準ベンチマーク上でモデルを評価し、既存手法を上回る優れた性能を示すこと。

提案手法

• 各原子が3次元空間座標を持つ完全な有向グラフとして分子をモデル化する。
• 原子間距離に基づいて隠れ表現を更新するシンプルなゲーミング機構を備えた再帰的ニューラルネットワークを用いる。
• すべての層でパラメータを共有することで、モデルの複雑さを低減し、一般化性能を向上させる。
• 収束を加速し、学習を安定化させるために、各層に入力埋め込みをスキップ接続として挿入する。
• 表現学習を強化するため、原子数や空間的広がりなどの補助特徴を組み込む。
• 性質予測のための原子レベル表現の集約に、シンプルな平均プーリング関数を適用する。

実験結果

リサーチクエスチョン

• RQ1 共有パラメータとスキップ接続を備えた再帰的グラフニューラルネットワークは、分子性質予測において最先端の性能を達成できるか？
• RQ2 グラフ構造のみに依存するモデルと比較して、3次元原子座標と原子間距離を組み込むことで、モデル性能がどのように向上するか？
• RQ3 スキップ接続と距離特徴量の貢献は、学習効率と予測精度にどのように影響するか？
• RQ4 全体的な結果が優れているにもかかわらず、QM9データセットの特定の性質（U0、U、H、G）においてGGRNetが性能を発揮できないのはなぜか？
• RQ5 ゲーミング機構や特徴量の挿入といったアーキテクチャ的要素が、モデル性能と一般化能力に与える影響は何か？

主な発見

• QM7bデータセットでは12のターゲットのうち7つで最先端の性能を達成し、特に誘電率（mu）の平均絶対誤差（MAE）が0.172という最高値を記録した。
• QM9データセットでは、誘電モーメント（mu）のMAEが0.172、分極率（alpha）が0.453、HOMOエネルギーが0.00372と、GC、DTNN、MPNNを上回った。
• アブレーションスタディの結果、距離特徴量がR2（電子的空間的広がり）の予測に不可欠であることが確認され、距離特徴量を除去するとMAEが1.61から154に増加した。
• 原子埋め込み特徴量は中程度の貢献を示し、除去するとMAEが0.000861から0.000939に上昇した。
• 解離エネルギー（U0、U）、エンタルピー（H）、ギブズ自由エネルギー（G）の予測では、MAEが28を超えるほど性能が低く、熱力学的性質の学習に限界があることが示された。
• これらの例外を除き、GGRNetはほとんどの性質でベースラインを常に上回り、分子表現学習における強力な一般化能力と表現力の高さを示した。