[論文レビュー] Neural Message Passing for Quantum Chemistry

Justin Gilmer, Samuel S. Schoenholz+3 more|arXiv (Cornell University)|Apr 4, 2017

Computational Drug Discovery Methods被引用数 2,978

ひとこと要約

tldr: 本論文はグラフベースのニューラルモデルをメッセージパッシングニューラルネットワーク（MPNNs）として再定式化し、QM9で最先端の結果を達成し、多くのターゲットで化学精度のDFTレベル特性を予測します。さらに、効率と性能を向上させるためのアーキテクチャ的バリアントを導入します。

ABSTRACT

Supervised learning on molecules has incredible potential to be useful in chemistry, drug discovery, and materials science. Luckily, several promising and closely related neural network models invariant to molecular symmetries have already been described in the literature. These models learn a message passing algorithm and aggregation procedure to compute a function of their entire input graph. At this point, the next step is to find a particularly effective variant of this general approach and apply it to chemical prediction benchmarks until we either solve them or reach the limits of the approach. In this paper, we reformulate existing models into a single common framework we call Message Passing Neural Networks (MPNNs) and explore additional novel variations within this framework. Using MPNNs we demonstrate state of the art results on an important molecular property prediction benchmark; these results are strong enough that we believe future work should focus on datasets with larger molecules or more accurate ground truth labels.

研究の動機と目的

• 統一されたメッセージパッシングフレームワークがグラフ表現から直接分子特性を学習できることを示す。
• QM9データセット上でMPNNsを評価し、確立されたベースラインと性能を比較する。
• 精度と効率を最大化するためのアーキテクチャの変種（エッジ表現、リードアウト、タワー）を探索する。
• 分子グラフに空間情報と水素の扱いを含めることの重要性を調査する。

提案手法

• 2つのフェーズ（メッセージパッシングとリードアウト）を含むMPNNフレームワークを定義する。
• さまざまなメッセージ関数（エッジベース、エッジネットワーク、ペアメッセージ）とリードアウト関数（GG-NNスタイルとset2set）を用いた実験を行う。
• 仮想エッジ、マスターノードなどの仮想グラフ要素を組み込み、長距離情報フローを可能にする。
• 複数のタワーを用いて（隠れ状態をより小さなコピーに分割）、計算時間を増やさずに容量と速度を向上させる。
• QM9のターゲットごとに1モデルを訓練し、ハイパーパラメータ探索を行い、化学精度のベンチマークと比較評価を行う。

実験結果

リサーチクエスチョン

• RQ1 グラフ同型性に対する不変性を保ったまま、MPNNsはグラフ表現から直接分子特性を学習できるか？
• RQ2 さまざまなメッセージ、更新、リードアウトの選択がQM9特性の精度にどのように影響するか？
• RQ3 空間情報と水素の明示性を含めることが予測性能に与える影響は何か？
• RQ4 仮想エッジ、マスターノード、set2set、タワーといったアーキテクチャ上の革新は、適度なサイズの分子に対して精度と効率を改善するか？

主な発見

• MPNNsはすべての13のQM9ターゲットで最先端の結果を達成する。
• 最良のMPNNバリアントは13ターゲット中11ターゲットで化学精度を達成する（DFT整合のグラウンドトゥルース）。
• トポロジーのみで動作するモデル（空間入力なし）は、長距離相互作用を捉えた場合、いくつかのターゲットで化学精度を達成できる。
• エッジネットワークベースのメッセージとset2setリードアウトを明示的な水素と組み合わせると、ベースラインに対して大きな性能向上をもたらす。
• マルチタワーアプローチは速度向上と一般化の改善を提供し、ほとんどのターゲットで単一コピーのGG-NNを上回る。