[論文レビュー] Neural Message Passing with Edge Updates for Predicting Properties of Molecules and Materials

Peter Bjørn Jørgensen, Karsten W. Jacobsen+1 more|arXiv (Cornell University)|Jun 8, 2018

Machine Learning in Materials Science参考文献 21被引用数 56

ひとこと要約

本研究は SchNet に受信原子を条件としたエッジ更新ネットワークを追加し、エッジメッセージを受信原子で条件付けすることで、QM9、Materials Project、OQMD における形成エネルギー予測を改善する。k最近傍グラフが固定カットオフを上回る。

ABSTRACT

Neural message passing on molecular graphs is one of the most promising methods for predicting formation energy and other properties of molecules and materials. In this work we extend the neural message passing model with an edge update network which allows the information exchanged between atoms to depend on the hidden state of the receiving atom. We benchmark the proposed model on three publicly available datasets (QM9, The Materials Project and OQMD) and show that the proposed model yields superior prediction of formation energies and other properties on all three datasets in comparison with the best published results. Furthermore we investigate different methods for constructing the graph used to represent crystalline structures and we find that using a graph based on K-nearest neighbors achieves better prediction accuracy than using maximum distance cutoff or the Voronoi tessellation graph.

研究の動機と目的

• 高価なDFT計算の代替として、分子と材料特性の迅速で高精度な予測を動機づける。
• 受信原子に依存するエッジ更新を含むニューラルメッセージ伝搬を拡張する。
• QM9、The Materials Project、および Open Quantum Materials Database (OQMD) で評価する。
• 結晶構造に対するグラフ構築の選択肢（カットオフ vs. K最近傍 vs. ボロノイ分割）を調査する。

提案手法

• 原子番号を初期ノード状態に埋め込み、原子間距離を放射基底関数で拡張する。
• エッジ特徴を送信原子状態と受信原子状態(e_vw^t)および前回のエッジ状態(e_vw^{t})に依存させるエッジ更新ネットワーク E_t を導入する。
• 更新されたエッジ特徴と隣接ノードの状態を用いてメッセージを集約するメッセージ関数 M_t を定義する。
• ノード状態を残差グラフ更新 S_t(h_v^t, m_v^{t+1})で更新する。
• 特性を予測するために、原子ごとの寄与を和または平均して用いるリードアウト R を使用する。
• QM9、Materials Project、OQMD で SchNet と enn-s2s をベンチマークし、グラフ構築アプローチ（定数カットオフ、K-nearest、Voronoi）を比較する。

実験結果

リサーチクエスチョン

• RQ1 送信原子と受信原子の状態の両方に依存してエッジメッセージを条件付けるエッジ更新ネットワークを組み込むことは、分子および材料特性の予測精度を改善するのか？
• RQ2 グラフ構築の選択（カットオフ距離、K近傍、ボロノイ分割）が結晶材料の予測性能にどう影響するのか？
• RQ3 エッジ更新モデルは QM9、Materials Project、OQMD データセットで最先端の成果を達成できるのか？
• RQ4 どの性質（例：形成エネルギー）がエッジ更新の恩恵を最も受けるのか、既存モデルと比較して結果はどうか？

主な発見

• エッジ更新ネットワークは、3データセットすべてで基準となる SchNet より予測精度を大幅に向上させる。
• QM9、Materials Project、OQMD は、提案モデルが V-RF および SchNet より平均絶対誤差を小さく示す（Table 2）。
• QM9 では、提案モデルが12性質中9つでMAEを低く、残りの3つは一致する（Table 3）。
• 結晶材料では、K-nearest neighbor グラフ（例：K=24）で 13.7 meV/原子 MAE が最良で、固定カットオフやボロノイ手法を上回った（Figure 4）。
• エッジ更新は、受信原子に対して相互作用を条件付けるうえで最も影響力が大きいことが、学習済みフィルタの可視化（第一層の受信原子依存 vs. 送信原子依存）から分かる。