[論文レビュー] Spherical Message Passing for 3D Graph Networks

Yi Liu, Limei Wang+4 more|arXiv (Cornell University)|Feb 9, 2021

Advanced Graph Neural Networks参考文献 47被引用数 31

ひとこと要約

球面メッセージパッシング(SMP)を3D分子グラフに導入し、距離、角度、トーション情報を効率的に活用するSphereNetを生み出し、複数の分子ベンチマークで最先端または競争力のある性能を、より良い効率で達成。

ABSTRACT

We consider representation learning of 3D molecular graphs in which each atom is associated with a spatial position in 3D. This is an under-explored area of research, and a principled message passing framework is currently lacking. In this work, we conduct analyses in the spherical coordinate system (SCS) for the complete identification of 3D graph structures. Based on such observations, we propose the spherical message passing (SMP) as a novel and powerful scheme for 3D molecular learning. SMP dramatically reduces training complexity, enabling it to perform efficiently on large-scale molecules. In addition, SMP is capable of distinguishing almost all molecular structures, and the uncovered cases may not exist in practice. Based on meaningful physically-based representations of 3D information, we further propose the SphereNet for 3D molecular learning. Experimental results demonstrate that the use of meaningful 3D information in SphereNet leads to significant performance improvements in prediction tasks. Our results also demonstrate the advantages of SphereNet in terms of capability, efficiency, and scalability. Our code is publicly available as part of the DIG library (https://github.com/divelab/DIG).

研究の動機と目的

• 球面座標系における相対的な3D情報を用いた3D分子構造の完全な同定を動機づけ、形式化する。
• SMPを開発し、1ホップの幾何情報で効率的かつスケーラブルなメッセージパッシングを可能にする。
• 3D幾何を物理的に意味のある表現にエンコードするSphereNetを導入し、標準的な分子ベンチマークで評価する。
• 完全な2ホップ手法と比較したSMPの完全性と効率のトレードオフを評価する。

提案手法

• 3D分子グラフを球面座標系（SCS）で定義し、完全性には距離、角度、トーションが必要であることを示す。
• エッジ、ノード、グラフの更新関数（φ^e, φ^v, φ^u）が、局所性に基づくρ^{p→e}およびρ^{e→v}の集約を介して3D情報を組み込むSMPを提案する。
• 複雑さをO(nk^2)に保つために、参照平面構成を用いてエッジベースの1ホップ情報からトーション角を計算する。
• SMPはほとんどの3D構造を識別するのにほぼ完全であると主張し、物理的に意味のある基底関数を適用することでSphereNetへ展開する。
• SphereNet表現 Ψ(d,θ,φ)を球面ベッセル関数と球面調和関数を用いて定義し、平行移動/回転不変性を保証し、メッセージパッシングブロックに組み込む。
• SMPをSchNet, DimeNetなどの従来手法と、SMPフレームワーク内の特別なケースとして関連付ける。

実験結果

リサーチクエスチョン

• RQ1 3D分子グラフは、距離、角度、トーションという相対的幾何特徴の完全な集合を用いた、拡張可能なGNNフレームワーク内で効果的に識別できるか？
• RQ2 球面メッセージパッシングは、エッジベースの2ホップ完全表現に代わる principled で効率的な代替を提供しつつ、表現力を維持できるか？
• RQ3 SphereNet表現 Ψ(d,θ,φ) は、既存のベースラインと比較して標準的な分子ベンチマークで予測性能を向上させるか？
• RQ4 SMP/SphereNet は大規模な分子データセットにおいて、精度、効率性、スケーラビリティのバランスをどのように取るか？

主な発見

モデル	ID	OOD Ads	OOD Cat	OOD Both	平均	ID	OOD Ads	OOD Cat	OOD Both	平均
CGCNN	0.6203	0.7426	0.6001	0.6708	0.6585	3.36%	2.11%	3.53%	2.29%	2.82%
SchNet	0.6465	0.7074	0.6475	0.6626	0.6660	2.96%	2.22%	3.03%	2.38%	2.65%
DimeNet++	0.5636	0.7127	0.5612	0.6492	0.6217	4.25%	2.48%	4.40%	2.56%	3.42%
GemNet-T	0.5561	0.7342	0.5659	0.6964	0.6382	4.51%	2.24%	4.37%	2.38%	3.38%
SphereNet	0.5632	0.6682	0.5590	0.6190	0.6024	4.56%	2.70%	4.59%	2.70%	3.64%

• SphereNet は energy MAE と EwT の点で OC20 IS2RE において競合的または最良の性能を達成し、ベースラインよりも平均的に顕著な改善を示す。
• QM9 では SphereNet が std. MAE の新しい最先端を達成し、複数の性質で堅実な結果を示す。
• MD17 実験では SphereNet が WoFE が同等の設定下で SchNet および DimeNet を上回る力価 MAE を示すことが多く、より高い WoFE の場合 GemNet-T に近づく。
• アブレーションと効率性分析により SMP は完全な2ホップ表現と同等の精度を保ちながら、実行時間を大幅に低減（いくつかの設定で約4倍高速）。
• SphereNet は学習の複雑さを O(nk^2) に削減しつつ3D構造のほぼ完全な識別性を維持し、大規模な分子学習を可能にする。