[論文レビュー] Understanding attention in graph neural networks.

B. A. Knyazev, Graham W. Taylor+1 more|arXiv (Cornell University)|May 8, 2019

Advanced Graph Neural Networks被引用数 10

ひとこと要約

この論文は、制御されたグラフ推論タスクを通じて、グラフニューラルネットワーク（GNN）におけるアテンションメカニズムを調査し、通常の設定下ではアテンションがしばしば無視できる、あるいは有害なパフォーマンス向上をもたらすことが明らかになった。しかし、最適な初期化や教師あり学習などの特定の条件下では、アテンションがパフォーマンスを60%以上向上させる。著者らは、教師ありモデルに匹敵するパフォーマンスを達成しつつ、教師なしベースラインを著しく上回る、弱教師あり学習のレシピを提案している。

ABSTRACT

We aim to better understand attention over nodes in graph neural networks (GNNs) and identify factors influencing its effectiveness. We particularly focus on the ability of attention GNNs to generalize to larger, more complex or noisy graphs. Motivated by insights from the work on Graph Isomorphism Networks, we design simple graph reasoning tasks that allow us to study attention in a controlled environment. We find that under typical conditions the effect of attention is negligible or even harmful, but under certain conditions it provides an exceptional gain in performance of more than 60% in some of our classification tasks. Satisfying these conditions in practice is challenging and often requires optimal initialization or supervised training of attention. We propose an alternative recipe and train attention in a weakly-supervised fashion that approaches the performance of supervised models, and, compared to unsupervised models, improves results on several synthetic as well as real datasets. Source code and datasets are available at this https URL.

研究の動機と目的

• グラフの複雑さやノイズレベルの変動に応じて、GNNにおけるアテンションメカニズムの有効性を理解すること。
• 特に大規模またはノイズの多いグラフにおいて、アテンションがGNNの一般化性能を向上させる条件を同定すること。
• 完全な教師信号なしで、効果的なアテンションを学習する課題に対処すること。
• 教師ありパフォーマンスに匹敵するが、完全な教師信号を必要としない弱教師あり学習のレシピを提案すること。

提案手法

• GNNのアテンション挙動を隔離するために、グラフ同型性ネットワークの知見にインspiredされたシンプルで制御されたグラフ推論タスクを設計すること。
• 標準的、教師なし、教師あり学習の各レジームでアテンションのパフォーマンスを評価すること。
• 限定的な教師信号を活用してアテンション学習をガイドする、弱教師あり学習のレシピを導入すること。
• さまざまな学習レジーム下での合成データおよび実世界のデータセットにおけるパフォーマンスを比較すること。
• アブレーションスタディを用いて、他のGNNコンポONENTSからのアテンションの影響を分離すること。
• アテンション分布およびノードの重要度を分析し、制御された設定下でのアテンションダイナミクスを理解すること。

実験結果

リサーチクエスチョン

• RQ1 GNNにおけるアテンションが顕著なパフォーマンス向上をもたらすのではなく、劣化を引き起こす条件は何か？
• RQ2 複雑またはノイズの多いグラフにおいて、教師なし、教師あり、弱教師ありのアテンション学習のパフォーマンスはどのように比較されるか？
• RQ3 弱教師あり学習のレシピが、完全な教師信号を必要とせずに、教師ありモデルに匹敵するパフォーマンスを達成できるか？
• RQ4 なぜ標準的なGNN学習設定では、アテンションがしばしばパフォーマンス向上をもたらさないのか？
• RQ5 どのような構造的要因や初期化要因が、アテンションが大規模またはより複雑なグラフに効果的に一般化できるかを可能にするか？

主な発見

• 標準的な学習条件下では、GNNにおけるアテンションメカニズムはしばしば無視できる、あるいは有害なパフォーマンス向上をもたらす。
• 最適な条件（適切な初期化や完全な教師あり学習）下では、特定の分類タスクで60%以上のパフォーマンス向上が達成できる。
• 提案された弱教師あり学習レシピは、複数の合成および実世界のデータセットで、完全な教師ありモデルと同等のパフォーマンスを達成している。
• 教師なしアテンションと比較して、弱教師ありアプローチは、評価されたすべてのデータセットで一貫してパフォーマンスを向上させている。
• アテンションの有効性は、学習レジームや初期化に極めて敏感であり、標準的な学習設定ではほとんど利益が得られない。
• 訓練条件が適切に制御されている場合、複雑またはノイズの多いグラフ設定で、アテンションのパフォーマンス向上が最も顕著に現れる。