[論文レビュー] Improving Graph Attention Networks with Large Margin-based Constraints

Guangtao Wang, Rex Ying+2 more|arXiv (Cornell University)|Oct 25, 2019

Advanced Graph Neural Networks参考文献 40被引用数 24

ひとこと要約

本稿では、過学習および過剰平滑化を軽減するため、注目重みにマージンベースの制約を導入することで、グラフ自己注意ネットワーク（GAT）を改善する制約付きグラフ自己注意ネットワーク（C-GAT）を提案する。隣接ノードへの注目重みを非隣接ノードよりも高く保つことで、トップ-k近隣ノード集約を組み合わせ、PPIデータセットのインダクティブ設定において98.8%の精度という最先端性能を達成した。

ABSTRACT

Graph Attention Networks (GATs) are the state-of-the-art neural architecture for representation learning with graphs. GATs learn attention functions that assign weights to nodes so that different nodes have different influences in the feature aggregation steps. In practice, however, induced attention functions are prone to over-fitting due to the increasing number of parameters and the lack of direct supervision on attention weights. GATs also suffer from over-smoothing at the decision boundary of nodes. Here we propose a framework to address their weaknesses via margin-based constraints on attention during training. We first theoretically demonstrate the over-smoothing behavior of GATs and then develop an approach using constraint on the attention weights according to the class boundary and feature aggregation pattern. Furthermore, to alleviate the over-fitting problem, we propose additional constraints on the graph structure. Extensive experiments and ablation studies on common benchmark datasets demonstrate the effectiveness of our method, which leads to significant improvements over the previous state-of-the-art graph attention methods on all datasets.

研究の動機と目的

• 注目重みに監視が不十分で、モデルの複雑さが増すため、GATにおける過学習を是正すること。
• 特にクラス境界で異クラスノードが過剰に平滑化される現象を軽減すること。
• 構造的およびラベルに依存する制約を用いて、未観測のグラフ構造への注目関数の一般化を向上させること。
• 層ごとの適応的ネガティブサンプリングを用いた効率的な訓練戦略の開発により、モデル最適化を強化すること。
• ノイズの多い情報伝達を低減するため、トップ-k注目ベースの特徴集約関数の開発

提案手法

• 事前に定めたマージンにより、隣接ノードへの注目重みを非隣接ノードよりも高く保つマージンベースの制約を導入する。
• クラス境界の制約を定式化し、異なるクラスに属するノードを結ぶエッジに対して低い重みを割り当てるように注目関数を誘導する。
• 最も注目度の高い近隣ノードのみを用いるトップ-k近隣ベースの特徴集約関数を設計し、意思決定境界での過剰平滑化を低減する。
• ノードの重要度に基づいて情報量の多いネガティブノードを優先する層ごとの適応的ネガティブサンプリング戦略を実装し、訓練効率を向上させる。
• モデルアーキテクチャを変更せずに、正則化項として制約をGATの訓練目的関数に統合し、学習の安定化を図る。
• 微分可能最適化フレームワークを用いて、注目制約とトップ-k集約関数を同時にGATと学習する。

実験結果

リサーチクエスチョン

• RQ1 注目重みにマージンベースの制約を適用することで、未観測のグラフ構造におけるGATの一般化性能にどのような影響を与えるか？
• RQ2 トップ-k近隣集約は、深層GATにおけるクラス境界での過剰平滑化をどの程度低減できるか？
• RQ3 適応的ネガティブサンプリングは、制約付きGATにおいて一様なネガティブサンプリングと比較して、訓練効率と性能を向上させられるか？
• RQ4 ランダムなエッジ追加といった構造的摂動に対して、提案手法はどの程度の性能を示すか？
• RQ5 ノイズが多いまたはより深いグラフ設定下で、トップ-k集約関数の最適なk値は何か？

主な発見

• C-GATは、インダクティブなPPIデータセットにおいて98.8%という新たな最先端の精度を達成し、従来のGATベースのモデルを大きく上回った。
• Cora、Citeseer、PubMedの各データセットにおいて、C-GATは標準的なGATよりも一貫して性能を向上させ、とくにGATが過剰平滑化を起こしやすい深層アーキテクチャにおいて顕著な改善が得られた。
• テストグラフに50%のエッジをランダムに追加しても、C-GATは高い性能を維持した。これは構造的摂動に対する高いロバストネスを示している。
• 適応的ネガティブサンプリングを用いたモデルは、一様なネガティブサンプリングベースラインを上回った。これは重要度に依存するサンプリングの有効性を裏付けている。
• ノイズの多いグラフではk=4が、クリーンなグラフではk=8がトップ-k集約の最適なk値であった。
• 標準的なGATとは異なり、C-GATの深層モデルは深さが増しても性能が低下しなかった。これは過剰平滑化の効果的な緩和を示している。