[論文レビュー] Permutohedral-GCN: Graph Convolutional Networks with Global Attention

Hesham Mostafa, Marcel Nassar|arXiv (Cornell University)|Mar 2, 2020

Advanced Graph Neural Networks参考文献 28被引用数 4

ひとこと要約

本稿では、学習可能なノード埋め込みと置換格子を用いた近似ガウスフィルタリングにより、可微分なグラフ畳み込みネットワークであるPermutohedral-GCN (PH-GCN) を提案する。アテンションを埋め込み空間内のユークリッド距離関数としてモデル化し、線形時間複雑度のフィルタリングを活用することで、PH-GCN は局所的近傍を越えた長距離情報伝達を可能にし、過剰平滑化を回避しながらノード分類ベンチマークで最先端の性能を達成する。

ABSTRACT

Graph convolutional networks (GCNs) update a node's feature vector by aggregating features from its neighbors in the graph. This ignores potentially useful contributions from distant nodes. Identifying such useful distant contributions is challenging due to scalability issues (too many nodes can potentially contribute) and oversmoothing (aggregating features from too many nodes risks swamping out relevant information and may result in nodes having different labels but indistinguishable features). We introduce a global attention mechanism where a node can selectively attend to, and aggregate features from, any other node in the graph. The attention coefficients depend on the Euclidean distance between learnable node embeddings, and we show that the resulting attention-based global aggregation scheme is analogous to high-dimensional Gaussian filtering. This makes it possible to use efficient approximate Gaussian filtering techniques to implement our attention-based global aggregation scheme. By employing an approximate filtering method based on the permutohedral lattice, the time complexity of our proposed global aggregation scheme only grows linearly with the number of nodes. The resulting GCNs, which we term permutohedral-GCNs, are differentiable and trained end-to-end, and they achieve state of the art performance on several node classification benchmarks.

研究の動機と目的

• 局所的メッセージパッシングの制限（受容 field の制限や過剰平滑化）を克服し、グローバルかつ長距離の特徴集約を可能にする。
• グローバルアテンションの二次的計算コストを、置換格子を用いた効率的で微分可能な近似手法により克服する。
• タスク固有のノード埋め込みを学習し、同じクラスのノードが互いに凝集するようにすることで、下流の分類性能を直接最適化する。
• グローバルアテンションと局所的近傍集約を組み合わせ、長距離および局所的な構造的依存関係を捉えるハイブリッド特徴表現を構築する。

提案手法

• 学習可能なノード埋め込み間のユークリッド距離に基づきアテンション係数を決定するグローバルアテンション機構を導入し、グラフ内の任意のノードからの選択的集約を可能にする。
• アテンションベースの集約を高次元ガウスフィルタリング操作としてモデル化し、効率的な近似フィルタリング手法の適用を可能にする。
• 置換格子を用いて微分可能な線形時間近似ガウスフィルタリングを実装し、計算複雑度を O(N²) から O(N) に低減する。
• グローバルアテンション（すべてのノード）と局所的近傍集約（グラフの隣接ノード）からの特徴を連結してハイブリッドノード表現を形成する。
• エンドツーエンドの学習により、バックプロパゲーションを介してノード特徴と埋め込みを同時に更新し、近似フィルタリング層を介して勾配が流れ込む。
• 複数のアテンションヘッドを用い、それぞれが独立した埋め込みを学習することで、表現能力とアテンションパターンの多様性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 GCNにおけるグローバルアテンション機構は、局所的近傍を越えた長距離情報伝達を可能にすることで、ノード分類性能の向上に寄与するか？
• RQ2 置換格子を用いた微分可能な近似フィルタリング手法により、GCNにおける線形時間グローバルアテンションを実現できるか？
• RQ3 エンドツーエンドのバックプロパゲーションにより学習されるタスク最適化埋め込みは、同じクラスのノードの凝集を促進し、特徴の過剰平滑化を低減するか？
• RQ4 グローバルアテンションと局所的近傍集約を組み合わせたハイブリッドアーキテクチャは、標準的なGCNやGATの変種と比較して、性能および一般化能力に優れているか？

主な発見

• PH-GCN は複数のノード分類ベンチマークで最先端の性能を達成し、標準的なGCNやGAT-EDAを上回ることで、グローバルアテンションの有効性を実証した。
• 同じクラスのノードが互いに凝集するように学習された埋め込みにより、ノード特徴のクラス内分散が低減され、分類タスクが簡素化された。
• 学習されたノード埋め込みはグラフ距離と相関がなかったことから、埋め込みがグラフ構造ではなくタスク関連の集約近傍を表していることが確認された。
• 置換格子により微分可能な線形時間近似フィルタリングが実現され、O(N) の複雑度でグローバルアテンションがスケーラブルになった。
• Wisconsin および Cornell データセットでは、GAT-EDA よりも顕著に高い性能を示したため、性能向上はアテンション機構の設計そのものではなく、グローバル集約の恩恵によるものであると示された。
• グローバルアテンションとローカルアテンションを組み合わせたハイブリッドアーキテクチャは、単独のローカルまたはグローバル集約に比べてより効果的であることが判明し、多スケール情報統合の利点が裏付けられた。