[論文レビュー] Hierarchical Inter-Message Passing for Learning on Molecular Graphs

Matthias Fey, Jan-Gin Yuen+1 more|arXiv (Cornell University)|Jun 22, 2020

Machine Learning in Materials Science参考文献 39被引用数 34

ひとこと要約

階層的GNNを導入し、分子グラフと接合木表現を共同処理することで、分子特性予測タスクの表現力と性能を向上させる。

ABSTRACT

We present a hierarchical neural message passing architecture for learning on molecular graphs. Our model takes in two complementary graph representations: the raw molecular graph representation and its associated junction tree, where nodes represent meaningful clusters in the original graph, e.g., rings or bridged compounds. We then proceed to learn a molecule's representation by passing messages inside each graph, and exchange messages between the two representations using a coarse-to-fine and fine-to-coarse information flow. Our method is able to overcome some of the restrictions known from classical GNNs, like detecting cycles, while still being very efficient to train. We validate its performance on the ZINC dataset and datasets stemming from the MoleculeNet benchmark collection.

研究の動機と目的

• 標準的なGNNが分子の環状構造や高次構造を検出する際の制限を動機づけ、これを克服する。
• 分子グラフと接合木表現の双方で学習するデュアルグラフアーキテクチャを提案する。
• グラフ間情報交換を実現し、coarse-to-fineおよびfine-to-coarseの情報フローを達成する。
• ZINCおよびMoleculeNetのベンチマークデータセットで予測性能の改善を示しつつ、学習効率を維持する。

提案手法

• 分子グラフ G と接合木 T の2つのGNNを用い、それぞれのグラフ内での intra-message passing を実施する。
• インター・メッセージ伝搬を実装: X^(l) <- X^(l) + sigma(S Z^(l) W1^(l)) を用いて T から G へ coarse-to-fine 情報を伝搬する。
• インター・メッセージ伝搬を実装: Z^(l) <- Z^(l) + sigma(S^T X^(l+1) W2^(l)) を用いて G から T へ fine-to-coarse 情報を伝搬する。
• 接合木のクラスターを Z^(0) のカテゴリエンコードで表現: 単体、結合、環、ブリッジ化合物。
• グラフと木の最終表現を連結して分子埋め込みを形成する。
• 既存の GIN-E（グラフ）および GIN（接合木）演算子をベースに、Adam でエンドツーエンドに学習する。

実験結果

リサーチクエスチョン

• RQ1 分子グラフと接合木表現間の階層的インター・メッセージ伝搬は、標準的なGNNよりも表現力と予測性能を向上させるか。
• RQ2 coarse-to-fine / fine-to-coarse の情報交換は、素のGNN に内在する環路検出の制限を克服する助けになるか。
• RQ3 提案アーキテクチャは、予測精度と効率の観点で（ZINC, MoleculeNet, OGB）有名な分子ベンチマークにどのような影響を与えるか。

主な発見

手法	MAE ZINC(10k)	MAE ZINC Full
GCN	0.367 ± 0.011	—
GraphSAGE	0.398 ± 0.002	—
GIN	0.408 ± 0.008	—
GAT	0.384 ± 0.007	—
MoNet	0.292 ± 0.006	—
GatedGCN	0.435 ± 0.011	—
GatedGCN-E	0.282 ± 0.015	—
GIN-E	0.252 ± 0.014	0.088 ± 0.002
Ours	0.151 ± 0.006	0.036 ± 0.002

• ZINC (10k) では提案手法が MAE 0.151 ± 0.006 を達成し、G I N-E (0.252 ± 0.014) や全ZINCセットの 0.088 ± 0.002 等と比べて全ベースラインを上回る（0.036 ± 0.002 vs 0.088 ± 0.002 for GIN-E） 。
• ZINC Full では MAE 0.036 ± 0.002 を達成し、競合より著しく優れている。
• MoleculeNet の一部サブセット（HIV, MUV, Tox21）では NGF, RP-NGF, GIN-E のベースラインに対して ROC-AUC の改善を示す（例: HIV: 84.81 ± 0.42 vs 83.83 ± 0.67 for GIN-E）。
• Open Graph Benchmark データセット ogbg-molhiv および ogbg-molpcba では ROC-AUC 78.80 ± 0.82、PRC-AUC 27.39 ± 0.17 を達成し、GCN-E, GatedGCN-E, GIN-E のベースラインを上回る。
• inter-graph 通信により受容野が拡大するため、比較的浅いネットワーク（2–3層）でも高い性能を達成できる。
• 方法は単一グラフGNNと比較して、計算効率をほとんど崩さずにメモリと実行時間のオーバーヘッドが僅少である。