[論文レビュー] Graph convolutions that can finally model local structure

Rémy Brossard, Oriel Frigo+1 more|arXiv (Cornell University)|Nov 30, 2020

Machine Learning in Materials Science参考文献 26被引用数 5

ひとこと要約

本稿では、グラフ同型性ネットワーク（GIN）の畳み込みに対する単純な修正であるGINE+を提案する。この手法は、非自明な方法で受容 field を拡大することで、分子グラフにおける小さなサイクルの正確な検出を可能にする。計算コストおよびパラメータの増加を最小限に抑えつつ、大規模なPCBAデータセットで最先端の性能を達成した。

ABSTRACT

Despite quick progress in the last few years, recent studies have shown that modern graph neural networks can still fail at very simple tasks, like detecting small cycles. This hints at the fact that current networks fail to catch information about the local structure, which is problematic if the downstream task heavily relies on graph substructure analysis, as in the context of chemistry. We propose a very simple correction to the now standard GIN convolution that enables the network to detect small cycles with nearly no cost in terms of computation time and number of parameters. Tested on real life molecule property datasets, our model consistently improves performance on large multi-tasked datasets over all baselines, both globally and on a per-task setting.

研究の動機と目的

• 現代のグラフニューラルネットワークが小さなサイクルを検出する能力に制限を受けるという問題に取り組むこと。これは、分子グラフ解析における根本的な課題である。
• モデルの複雑さを著しく増加させることなく、GINの局所的構造検出の表現力を高めること。
• PCBAのような大規模でマルチタスクな分子データセットにおいて、過学習を回避しながらも強力な一般化性能を維持すること。
• グラフ学習の下流タスクにおけるノード表現を向上させる、軽量で効率的なソリューションを提供すること。

提案手法

• 標準的なGIN畳み込みを、半径を段階的に増加させる非自明なメカニズムを組み込むことで修正し、受容 field を制御的に拡大する。
• 元のGINのメッセージパッシングフレームワークを保持するが、グローバルな受容 field を拡大せずに、より広い近隣からの情報を集約することで強化する。
• 各層ごとに1つの可学習パラメータを追加するという単純なアーキテクチャの変更により、パラメータの増加を最小限に抑える。
• このアプローチにより、特に分子化学において重要な小さなサイクルを含む局所的サブ構造について、ノード埋め込みがより情報を含むようになる。
• 計算コストのスケーリングはGINと同一であり、推論時間は3–15%増加にとどまる。
• 多タスク設定で評価され、小規模なデータセットおよび大規模なPCBAデータセットに適用され、データ拡張を用いた転移学習が実施された。

実験結果

リサーチクエスチョン

• RQ1 GINに最小限のアーキテクチャ的変更を加えることで、分子グラフにおける小さなサイクルの検出能力を顕著に向上させられるか？
• RQ2 非自明な方法で局所的受容 field を拡大することで、大規模でマルチタスクな分子特性予測ベンチマークでの性能向上が達成できるか？
• RQ3 向上した局所的構造モデリングにより、小規模データセットでの過学習を回避しながら、一般化性能およびタスク間の転移学習性能が向上するか？
• RQ4 計算時間およびモデルパラメータの増加を無視できる程度に抑えつつ、性能向上が達成可能か？

主な発見

• GINE+はOGB PCBAベンチマークで最先端の性能を達成し、論文発表時時点で1位を獲得した。
• 特にPCBAデータセットにデータ拡張を適用した場合、大規模でマルチタスクなデータセットにおいて一貫した性能向上を示した。
• 小規模なデータセットでは、GINに仮想ノードを導入した場合に比べ、GINE+はわずかに性能が劣ることから、表現力の向上が適切に管理されない場合には過学習を引き起こす可能性があることが示唆された。
• GINE+による性能向上は、計算時間の3–15%増加およびパラメータ数の無視できる程度の増加で達成された。
• この手法により、特に小さなサイクルのような、化学的グラフ解析において重要な局所的構造情報をよりよく捉えたノード埋め込みが得られた。
• 多タスク学習において、平均性能および個別タスクの性能の両方で、強力な転移性を示した。