[論文レビュー] How to Find Your Friendly Neighborhood: Graph Attention Design with Self-Supervision

Dongkwan Kim, Alice Oh|arXiv (Cornell University)|Apr 11, 2022

Advanced Graph Neural Networks参考文献 66被引用数 116

ひとこと要約

この論文は SuperGAT を提案する。エッジの存在を監督信号として用い、アテンションを形作る自己教師付きグラフアテンションモデルであり、グラフ同型性と平均次数に基づくアテンション設計を選択するレシピを提供し、17 の実世界データセットに一般化する。

ABSTRACT

Attention mechanism in graph neural networks is designed to assign larger weights to important neighbor nodes for better representation. However, what graph attention learns is not understood well, particularly when graphs are noisy. In this paper, we propose a self-supervised graph attention network (SuperGAT), an improved graph attention model for noisy graphs. Specifically, we exploit two attention forms compatible with a self-supervised task to predict edges, whose presence and absence contain the inherent information about the importance of the relationships between nodes. By encoding edges, SuperGAT learns more expressive attention in distinguishing mislinked neighbors. We find two graph characteristics influence the effectiveness of attention forms and self-supervision: homophily and average degree. Thus, our recipe provides guidance on which attention design to use when those two graph characteristics are known. Our experiment on 17 real-world datasets demonstrates that our recipe generalizes across 15 datasets of them, and our models designed by recipe show improved performance over baselines.

研究の動機と目的

• 標準的なグラフアテンションが監督なしで学習する内容を評価する
• エッジに基づく自己教師付き信号でアテンションを sharpening する
• GO と DP アテンションを比較し、2 つの強化版（SD と MX）を導出する
• 同型性と平均次数がアテンションの有効性に与える影響を分析し、設計レシピを提供する
• 複数の実世界および合成データセットでアプローチを検証する

提案手法

• GO および DP アテンションに基づく SuperGAT のバリアントを定義する（GO、DP、提案する SD および MX）
• アテンションを監督するための自己教師付きエッジ予測タスクを導入し、a_1と 6
  d を利用する
• エッジに対するバイナリ交差エントロピー損失（L_E）を用い、ノードラベル損失（L_V）および L2 正則化と組み合わせて最終目的関数を形成する
• トレーニング時にエッジ対非エッジのペアをバランスさせるためのネガティブサンプリングを適用する
• エッジ予測監督を追加しても GAT と同等の時間・空間計算量を維持する
• 共有されたマルチヘッドアテンション構造を用い、学習表現のシグモイドを介してエッジ確率を計算する

実験結果

リサーチクエスチョン

• RQ1 RQ1: グラフアテンションはエッジ監督なしでラベル合意を学習するのか？
• RQ2 RQ2: エッジ監督を用いて訓練した場合、グラフアテンションはエッジ存在を予測できるのか？
• RQ3 RQ3: グラフの特徴（同型性と平均次数）に応じて、どのアテンション設計が最も効果的か？
• RQ4 RQ4: 合成グラフから導かれた設計指針は実世界データセットにgeneralize するのか？

主な発見

• GO は多くの設定で DP よりもラベル合意とアテンションを一致させる傾向がある
• DP アテンションはリンク予測全体でエッジ存在をより効果的に符号化する
• 混合設計 MX またはスケールド・ドット積設計 SD は、グラフ特性（特に平均次数と同型性）に応じて標準の GO や DP を上回ることがある
• 合成実験に基づく設計レシピはほとんどの実世界データセット（17中15）に一般化し、MX は多くの状況で最高性能を提供することが多い
• SuperGAT のバリアントは、広範な実世界データセットにおいてベースライン（GCN、GraphSAGE、GAT、及びいくつかのエッジ対応ベースライン）より総じて優れている