[論文レビュー] Utilizing Edge Features in Graph Neural Networks via Variational Information Maximization

Pengfei Chen, Weiwen Liu+3 more|arXiv (Cornell University)|Jun 13, 2019

Machine Learning in Materials Science参考文献 29被引用数 17

ひとこと要約

本稿では、変分下界を用いてエッジ特徴量と学習可能な変換行列間の相互情報量を最大化することで、GNNの性能を向上させる情報最大化グラフニューラルネットワーク（IGNN）を提案する。メッセージスレッディング中にエッジ情報を明示的に保持することにより、分子性質予測タスクにおいて最先端の結果を達成し、ドラッグディスカバリータスクにおけるpIC50予測では0.6174のMAEおよび0.835のRを達成した。

ABSTRACT

Graph Neural Networks (GNNs) achieve an impressive performance on structured graphs by recursively updating the representation vector of each node based on its neighbors, during which parameterized transformation matrices should be learned for the node feature updating. However, existing propagation schemes are far from being optimal since they do not fully utilize the relational information between nodes. We propose the information maximizing graph neural networks (IGNN), which maximizes the mutual information between edge states and transform parameters. We reformulate the mutual information as a differentiable objective via a variational approach. We compare our model against several recent variants of GNNs and show that our model achieves the state-of-the-art performance on multiple tasks including quantum chemistry regression on QM9 dataset, generalization capability from QM9 to larger molecular graphs, and prediction of molecular bioactivities relevant for drug discovery. The IGNN model is based on an elegant and fundamental idea in information theory as explained in the main text, and it could be easily generalized beyond the contexts of molecular graphs considered in this work. To encourage more future work in this area, all datasets and codes used in this paper will be released for public access.

研究の動機と目的

• 従来のGNNがメッセージスレッディング中にエッジ特徴量を十分に活用できないという限界に対処すること。
• 結合タイプや距離などのエッジ属性が重要な関係的情報を保持する構造的グラフにおいて、GNNの性能を向上させること。
• エッジ特徴量と変換パラメータの間の依存関係を明示的にモデル化できる微分可能でスケーラブルな手法を開発すること。
• QM9データセットを超えてより大規模かつ多様な分子グラフへ一般化する能力を評価すること。
• 特に分子バイオアクティビティのpIC50値予測において、実世界のドラッグディスカバリーアプリケーションでの有効性を実証すること。

提案手法

• GNNにおけるエッジ特徴量ベクトルと学習可能な変換行列間の相互情報量を最大化するという目的を定式化する。
• 計算が不可能な相互情報量の目的関数を、微分可能で学習可能な変分下界に再定式化する。
• 真の条件付き分布（エッジ状態が変換パラメータのもとで与えられる分布）を近似するための変分事後分布を導入する。
• エッジからノード表現への情報保持を促進する正則化された目的関数でGNNを訓練する。
• エッジ特徴量に応じて変換行列を生成する学習可能なエッジネットワークを導入し、エッジ固有のメッセージスレッディングを可能にする。
• 標準的なメッセージスレッディングフレームワーク内に本手法を適用し、ノード表現を近隣集約とエッジ条件付き変換によって更新する。

実験結果

リサーチクエスチョン

• RQ1 エッジ特徴量と変換行列間の相互情報量を最大化することは、グラフ構造データにおけるGNN性能の向上に寄与するか？
• RQ2 提案されたIGNNモデルは、より大規模かつ多様な分子グラフへの一般化において、既存のGNNと比較してどのように異なるか？
• RQ3 エッジ情報の活用度が、分子性質回帰およびドラッグディスカバリータスクにおける予測性能にどの程度寄与するか？
• RQ4 変分情報最大化アプローチは、連続的エッジ特徴量を有するGNNに安定的かつ効果的なインダクティブバイアスを提供するか？
• RQ5 本モデルは分子グラフにとどまらず、他のマルチリレーショングラフ学習のシナリオへも一般化可能か？

主な発見

• IGNNはQM9データセットにおいて最先端の性能を達成し、量子化学回帰タスクで既存のGNN変種を上回った。
• より大規模な分子グラフを対象とした一般化ベンチマークでは、MAEが最低となり、全ベースラインと比較して1/3のタスクで優れた性能を示した。
• ChEMBLデータセットにおけるpIC50予測では、MAEが0.6174、ピアソン相関係数（R）が0.835を達成し、比較対象の全モデルの中で最高の性能を示した。
• 本モデルの成功は、相互情報量最大化によるエッジ情報の保持に起因し、正則化のインダクティブバイアスとして機能している。
• MPNN や GIN と比較して、エッジ距離や連続的エッジ特徴量が重要なタスク（例：R2予測）では、IGNNがより優れた性能を示した。
• アブレーションスタディの結果、変分情報最大化目的関数が性能向上に顕著に寄与しており、本手法のコアな設計選択が妥当であることが裏付けられた。