[論文レビュー] Adaptive Graph Diffusion Networks with Hop-wise Attention

Chuxiong Sun, Guoshi Wu|arXiv (Cornell University)|Dec 29, 2020

Advanced Graph Neural Networks参考文献 34被引用数 12

ひとこと要約

本稿では、過剰平滑化および過学習を軽減するために、学習可能でノードに適応するアテンション機構を用いて多ホップ近傍情報を集約する、新しいGNNアーキテクチャである、ホップ単位のアテンションを備えた適応的グラフ拡散ネットワーク（AGDNs-HA）を提案する。本手法は、1層の範囲で高階のグラフ近傍を効果的に組み合わせることで、半教師ありノード分類ベンチマークで最先端の性能を達成する。

ABSTRACT

Graph Neural Networks (GNNs) have received much attention recent years and have achieved state-of-the-art performances in many fields. The deeper GNNs can theoretically capture deeper neighborhood information. However, they often suffer from problems of over-fitting and over-smoothing. In order to incorporate deeper information while preserving considerable complexity and generalization ability, we propose Adaptive Graph Diffusion Networks with Hop-wise Attention (AGDNs-HA). We stack multi-hop neighborhood aggregations of different orders into single layer. Then we integrate them with the help of hop-wise attention, which is learnable and adaptive for each node. Experimental results on the standard dataset with semi-supervised node classification task show that our proposed methods achieve significant improvements.

研究の動機と目的

• 複数の層を積み重ねることによって生じる、深層グラフニューラルネットワーク（GNN）における過剰平滑化および過学習の課題に対処すること。
• モデルの深さを増さずに、多ホップ近傍情報を集約することで、より深い受容場を実現すること。
• 異なるホップ順序に対するアダプティブでノード固有のアテンションを導入することで、モデルの一般化性能と複雑さを維持すること。
• より情報量が多く選択的な近傍集約を実現することで、半教師ありノード分類タスクの性能を向上させること。

提案手法

• 1ホップ、2ホップなど、異なる順序の多ホップ近傍集約を1つのネットワーク層に統合し、より深いグラフ構造を捉える。
• 異なるホップ単位の近傍からの寄与度を動的に重みづける、学習可能でノードに適応するアテンション機構を導入する。
• 複数のホップからのアテンション付き特徴量を重み付き集約戦略を用いて統合し、統一されたノード表現を形成する。
• 半教師ありノード分類のための標準的な交差エントロピー損失を用いて、モデルをエンドツーエンドで訓練する。
• アテンション機構をノードごとに適応的にすることで、局所的なグラフ構造に基づいて最も関連性の高いホップ順序に焦点を当てる。
• 多ホップ集約を備えた1層アーキテクチャを採用することで、深さに起因する劣化を低減しつつ表現力は維持する。

実験結果

リサーチクエスチョン

• RQ1 1層の範囲で多ホップ近傍情報を組み合わせることで、モデルの深さを増さずにGNNの性能向上が図れるか？
• RQ2 異なるホップ順序に対するノード適応型アテンションは、深層GNNにおける一般化性能と過剰平滑化にどのように影響するか？
• RQ3 学習可能なホップ単位のアテンションは、半教師ありノード分類タスクの性能向上にどの程度寄与するか？
• RQ4 提案手法は、標準的なGNNおよび既存の深層GNNの変種と比較して、正確性と頑健性の面で優れているか？

主な発見

• 提案されたAGDNs-HAモデルは、標準的な半教師ありノード分類ベンチマークで顕著な性能向上を達成した。
• 異なるホップ順序にわたり、学習可能でノードに適応するアテンションを用いることで、深層GNNにおける過剰平滑化および過学習が効果的に軽減された。
• 深い近傍情報を組み入れても、依然として高い一般化能力を維持した。
• 多ホップ集約を備えた1層アーキテクチャは、正確性および学習安定性の面で、従来の深層GNNを上回った。