[論文レビュー] Multi-View Graph Neural Networks for Molecular Property Prediction

Hehuan Ma, Yatao Bian+6 more|arXiv (Cornell University)|May 17, 2020

Machine Learning in Materials Science参考文献 53被引用数 35

ひとこと要約

MV-GNNと MV-GNN^cross を紹介する。ノード（原子）とエッジ（結合）情報の両方を利用するデュアルビューGNNで、共有自己注意の読み出しと不一致損失、クロス依存のメッセージ伝搬を備え、分子特性予測の表現力と解釈性を高める。

ABSTRACT

The crux of molecular property prediction is to generate meaningful representations of the molecules. One promising route is to exploit the molecular graph structure through Graph Neural Networks (GNNs). It is well known that both atoms and bonds significantly affect the chemical properties of a molecule, so an expressive model shall be able to exploit both node (atom) and edge (bond) information simultaneously. Guided by this observation, we present Multi-View Graph Neural Network (MV-GNN), a multi-view message passing architecture to enable more accurate predictions of molecular properties. In MV-GNN, we introduce a shared self-attentive readout component and disagreement loss to stabilize the training process. This readout component also renders the whole architecture interpretable. We further boost the expressive power of MV-GNN by proposing a cross-dependent message passing scheme that enhances information communication of the two views, which results in the MV-GNN^cross variant. Lastly, we theoretically justify the expressiveness of the two proposed models in terms of distinguishing non-isomorphism graphs. Extensive experiments demonstrate that MV-GNN models achieve remarkably superior performance over the state-of-the-art models on a variety of challenging benchmarks. Meanwhile, visualization results of the node importance are consistent with prior knowledge, which confirms the interpretability power of MV-GNN models.

研究の動機と目的

• 原子と結合情報をデュアルビューGNNフレームワークで jointly leverage して分子特性予測の精度を高める。
• 解釈可能なグラフ埋め込みを生成し、ディスアグリーメント損失で学習を安定化させる共有自己注意読み出しを開発する。
• 2つのビュー間の情報交換を強化するクロス依存メッセージ伝搬スキームを提案する。
• GINおよびWLテストに対する表現力の理論的分析を提供する。
• 注意可視化を通じて解釈可能性と堅牢な性能を備えた11のベンチマークデータセットで経験的優位性を示す。

提案手法

• 同時流のエンコーダー: ノードビュー（原子ビュー）とエッジビュー（結合ビュー）でノード/エッジ埋め込みを生成する。
• 共有の自己注意読み出しを用いて両ビューからグラフ埋め込みを計算し、原子/官能基の重要性の解釈を可能にする。
• 予測ギャップを最小化するディスアグリーメント損失を用いてトレーニングを安定化させる。
• (MV-GNN^cross) クロス依存メッセージ伝搬により各伝搬ステップで一方のビューが他方を情報伝達でき、情報フローを強化する。
• MV-GNNが少なくともGINと同等の力を持つこと、MV-GNN^crossがGINより厳密に表現力が高いことを示す理論的結果。
• エンドツーエンドの損失は両ビューの予測損失とディスアグリーメント項を組み合わせたもの: L = L_pred + λ L_dis。

実験結果

リサーチクエスチョン

• RQ1 ノード情報とエッジ情報を別々に処理するデュアルビューGNNアーキテクチャは、単一ビュー模型より分子特性予測を改善できるか。
• RQ2 共有の自己注意読み出しは予測の原子レベルの解釈を提供するか。
• RQ3 2つのビュー間の合意をディスアグリーメント損失で強制することは学習を安定化し堅牢性を向上させるか。
• RQ4 クロス依存メッセージ伝搬はMV-GNNを超える表現力と予測性能をさらに高めるか。
• RQ5 MV-GNNおよびMV-GNN^crossのGIN/WLテストに対する理論的表現力はどの程度か。

主な発見

• MV-GNNとMV-GNN^crossは、11のベンチマークにおいて分類（AUC-ROC）および回帰タスクで最先端のベースラインを上回る。
• MV-GNNはSOTAベースラインより平均約1.15ポイントのAUC改善を、MV-GNN^crossは平均約1.65ポイントの改善を達成。
• MV-GNN^crossはより高いロバスト性（標準偏差が小さい）を示し、場合によってはMV-GNNよりも優れた性能を示す。
• クロス依存メッセージ伝搬（MV-GNN^cross）はモデルサイズを大幅に削減し、従来のMV-GNNよりも表現力が強い。
• 理論的結果: MV-GNNは少なくともGINと同等の表現力を持つ; MV-GNN^crossはGINより厳密に表現力が高い。
• 定性的なケーススタディでは、毒性標識と整合する原子レベルの解釈可能な注意が得られる例（例: トリフルオロメチル基やシアナイド基）を示す。