[論文レビュー] Heterogeneous Molecular Graph Neural Networks for Predicting Molecule Properties

Zeren Shui, George Karypis|arXiv (Cornell University)|Sep 26, 2020

Machine Learning in Materials Science参考文献 33被引用数 14

ひとこと要約

本論文は、1体、2体など異なる次数のノードを備えた非均質的分子グラフ（HMG）表現を用いて、分子内の多体相互作用をモデル化する新しいGNNフレームワークであるHeterogeneous Molecular Graph Neural Networks（HMGNN）を提案する。相互次数間のメッセージスレッディング、グローバル分子表現、およびマルチタスク学習を組み合わせたアテンションベースの統合メカニズムにより、QM9データセットにおける12の分子性質予測タスクのうち9つで最先端性能を達成し、二原子間相互作用を超えた高次相互作用を明示的に捉えている。

ABSTRACT

As they carry great potential for modeling complex interactions, graph neural network (GNN)-based methods have been widely used to predict quantum mechanical properties of molecules. Most of the existing methods treat molecules as molecular graphs in which atoms are modeled as nodes. They characterize each atom's chemical environment by modeling its pairwise interactions with other atoms in the molecule. Although these methods achieve a great success, limited amount of works explicitly take many-body interactions, i.e., interactions between three and more atoms, into consideration. In this paper, we introduce a novel graph representation of molecules, heterogeneous molecular graph (HMG) in which nodes and edges are of various types, to model many-body interactions. HMGs have the potential to carry complex geometric information. To leverage the rich information stored in HMGs for chemical prediction problems, we build heterogeneous molecular graph neural networks (HMGNN) on the basis of a neural message passing scheme. HMGNN incorporates global molecule representations and an attention mechanism into the prediction process. The predictions of HMGNN are invariant to translation and rotation of atom coordinates, and permutation of atom indices. Our model achieves state-of-the-art performance in 9 out of 12 tasks on the QM9 dataset.

研究の動機と目的

• 既存のGNNが分子内の多体相互作用（3原子以上）をモデル化する点で制限を示していることに対処する。これは、量子力学的性質予測の正確さにとって不可欠である。
• 多体項（例：結合角、二面角）および幾何的情報を明示的に符号化する新しい分子グラフ表現を開発する。
• 非均質的グラフ構造を活用して多次数相互作用のモデル化とグローバル性質予測を実現するGNNアーキテクチャを設計する。
• グローバル分子表現の統合と多次数予測のアテンションベース統合により、一般化性能と予測精度を向上させる。
• マルチタスク学習と相互次数間メッセージスレッディングがモデル性能を向上させることの有効性を検証する。

提案手法

• 1体（原子）、2体（ペア）、およびそれ以上の次数のグループをノードとして表現する非均質的分子グラフ（HMG）を提案し、異なる種類のエッジが相互作用を符号化する。
• 異なる次数のノード間での情報交換を可能にするメッセージスレッディング方式（相互次数間メッセージスレッディング）を設計し、階層的表現学習を実現する。
• 各多体次数の予測と最終統合予測を同時に最適化するマルチタスク学習損失を導入し、多体展開と整合性を保つように制約を課す。
• グローバル分子表現を用いて、異なる多体次数からの予測をアテンション機構で統合し、最終出力を得る。
• HMGおよびメッセージスレッディングルールの幾何学的・構造的設計により、平行移動、回転、原子順列の不変性を保証する。
• ターゲット性質に対する関連性に応じて、1体および2体予測の寄与度を動的に重みづける学習可能なアテンションヘッドを採用する。

実験結果

リサーチクエスチョン

• RQ1 非均質的グラフ表現は、二原子間相互作用を超えて、3原子以上の多体相互作用（3+原子）を効果的にモデル化できるか？
• RQ2 1体および2体ノード間の相互次数メッセージスレッディングを組み込むことで、分子性質予測の精度が向上するか？
• RQ3 多体次数にわたる予測を正則化するマルチタスク学習目的関数は、モデルの一般化性能と性能を向上させることができるか？
• RQ4 統合モジュール内のアテンション重みは、異なる分子性質において1体と2体の寄与度の相対的重要性をどのように反映しているか？
• RQ5 標準的なGNNが原子と結合のみをモデル化するのに対し、2体相互作用（例：角度）を明示的にモデル化することで、性能はどの程度向上するか？

主な発見

• HMGNNはQM9データセットにおける12の分子性質予測タスクのうち9つで最先端性能を達成し、既存のGNNベースのモデルを上回っている。
• アブレーションスタディの結果、マルチタスク学習損失を削除すると性能が著しく低下し、$U_0$における1体予測のRMSEはHMGNNの5.92から8.22に上昇する。
• 相互次数メッセージスレッディングを削除すると性能が低下し、特に$C_v$ではRMSEが0.0233から0.0244に上昇する。これは、クロス次数間の情報伝達の重要性を示している。
• 高次相互作用（2体）のモデル化を排除すると、マルチタスク学習アブレーションよりも性能が悪化する。これは2体相互作用が正確性にとって不可欠であることを示している。
• 統合モジュールのアテンション重みは、$U_0$や$C_v$などの大多数の性質において1体寄与が支配的であるが、2体予測に対しても有意義なアテンションが割り当てられており、多体展開の収束に一致している。
• アテンション重みは安定的かつ意味のあるものであり、1体アテンションスコアは異なる性質で0.4から0.8の範囲で変動しており、モデルが関連する多体項を適切に優先していることが示されている。