[論文レビュー] Just Jump: Dynamic Neighborhood Aggregation in Graph Neural Networks

Matthias Fey|arXiv (Cornell University)|Apr 9, 2019

Advanced Graph Neural Networks参考文献 28被引用数 26

ひとこと要約

本稿では、動的近傍集合集約（DNA）を提案する。DNAは、複数の層にわたる近傍埋め込みを動的に集約するために、マルチヘッド自己注意機構を用いるグラフニューラルネットワーク手法であり、ノードに適応する受容 field を実現する。注意機構とグループ化された線形投影を組み合わせることで、標準的なGNNスタックやジャンピングナレッジネットワークを上回る性能を達成し、より大きな隠れ次元を用いることで最大3%の精度向上を実現した。

ABSTRACT

We propose a dynamic neighborhood aggregation (DNA) procedure guided by (multi-head) attention for representation learning on graphs. In contrast to current graph neural networks which follow a simple neighborhood aggregation scheme, our DNA procedure allows for a selective and node-adaptive aggregation of neighboring embeddings of potentially differing locality. In order to avoid overfitting, we propose to control the channel-wise connections between input and output by making use of grouped linear projections. In a number of transductive node-classification experiments, we demonstrate the effectiveness of our approach.

研究の動機と目的

• 固定された受容 field の制限と、スタックされたGNNにおける表現の希釈の問題を解決すること。
• 異なる局所性と深さにわたる、ノードに適応した近傍埋め込みの集約を可能にすること。
• 動的でタスク固有の受容 field を学習することで、帰納的ノード分類における汎化性能と性能を向上させること。
• 注意ベースのGNNにおけるグループ化線形投影を正則化子として用いる有効性を調査すること。

提案手法

• DNAは、近隣ノードの全層の埋め込みをマルチヘッドスケーリングドットプロダクト注意機構を用いて注目することで、ノード表現を計算する。
• 注目機構により、異なる近傍深さからの寄与が動的に重み付けされ、局所的およびグローバルな情報の選択的集約が可能になる。
• グループ化された線形投影を適用することで、チャネル単位の接続を制御し、過学習を軽減するとともに、より大きな隠れ次元を可能にする。
• 最終的なノード表現は、全層の近隣埋め込みを、学習可能な注目重みを用いて集約することで形成される。
• 本手法はGNNフレームワークに統合され、交差エントロピー損失を用いてエンドツーエンドで学習される。
• メッセージパッシング中にノードごとに動的に集約可能な点で、標準的なGNNスタックやジャンピングナレッジを拡張する。

実験結果

リサーチクエスチョン

• RQ1 固定集約やジャンピングナレッジと比較して、注目機構を用いた動的近傍集約はGNN性能を向上させるか？
• RQ2 グループ化線形投影の使用は、一般化性能およびスケーラビリティの観点から、注目ベースのGNNにどのような影響を与えるか？
• RQ3 ノードに適応する多層集約を許容することで、帰納的ノード分類タスクにおける表現学習が向上するか？
• RQ4 大きな隠れ次元は、注目ベースのGNNにおいて、グループ化投影によってどの程度利益を得られるか？

主な発見

• DNAは、すべてのデータセットで標準的なGNNスタック（JK-None）およびジャンピングナレッジの変種（JK-Concat, JK-Pool, JK-LSTM）を上回り、最大3パーセンテージポイントの向上を達成した。
• Coraでは、g=16のDNAが86.15% ± 0.57の精度を達成し、最高のJK-LSTM結果（78.08% ± 1.53）を上回った。
• グループ化投影の使用は性能向上に顕著な効果を示した：PubMedではg=16のDNAが94.64% ± 0.15の精度を達成し、g=1の94.02% ± 0.17を上回った。
• DNAにおける注目機構は、初期の表現に強く依存している一方で、特定のノードでは深い層の情報も重要に使用されており、動的集約の有効性が裏付けられた。
• 影響力分析により、DNAはGCN-JK-Poolが即時の近隣に限定されるのとは異なり、遠く離れたノードからの情報を集約していることが確認された。
• 特にグループ化投影と組み合わせた場合に、より大きな隠れ次元が最良の性能をもたらした。これは、グループ化投影が効果的な正則化子として機能していることを示唆している。