[論文レビュー] Learnable Graph Convolutional Attention Networks

Adrián Javaloy, Pablo Sánchez‐Martín+2 more|arXiv (Cornell University)|Nov 21, 2022

Advanced Graph Neural Networks被引用数 6

ひとこと要約

本稿では、特徴表現学習を強化するために、学習可能なアテンションメカニズムをGCNIIに統合した新規のグラフニューラルネットワーク、L-GCNIICAT（Learnable Graph Convolutional Attention Networks）を提案する。メッセージスティング中に隣接ノードを動的にアテンションすることで、L-GCNIICATは複数のベンチマークデータセットで最先端の性能を達成し、Coauthor Physicsでは96.87%、TwitchENでは61.14%の正確度を達成し、GCNIIGAT や GCNIICAT といった先行手法を上回った。

ABSTRACT

Existing Graph Neural Networks (GNNs) compute the message exchange between nodes by either aggregating uniformly (convolving) the features of all the neighboring nodes, or by applying a non-uniform score (attending) to the features. Recent works have shown the strengths and weaknesses of the resulting GNN architectures, respectively, GCNs and GATs. In this work, we aim at exploiting the strengths of both approaches to their full extent. To this end, we first introduce the graph convolutional attention layer (CAT), which relies on convolutions to compute the attention scores. Unfortunately, as in the case of GCNs and GATs, we show that there exists no clear winner between the three (neither theoretically nor in practice) as their performance directly depends on the nature of the data (i.e., of the graph and features). This result brings us to the main contribution of our work, the learnable graph convolutional attention network (L-CAT): a GNN architecture that automatically interpolates between GCN, GAT and CAT in each layer, by adding only two scalar parameters. Our results demonstrate that L-CAT is able to efficiently combine different GNN layers along the network, outperforming competing methods in a wide range of datasets, and resulting in a more robust model that reduces the need of cross-validating.

研究の動機と目的

• GCNIIにおける固定された近傍ノード集約の限界を是正する。これは、有益なノードを十分に活用できず、ノイズの多いノードに過剰に重みを置きがちな問題を含む。
• メッセージスティング中に隣接ノードを適応的に重みづけする学習可能なアテンションメカニズムを導入することで、グラフ表現学習を向上させる。
• 多様なグラフ構造にわたる推論的およびインダクティブなノード分類ベンチマークにおける性能を向上させる。
• 広範なアブレーションおよび比較実験を通じて、GCNIIにおける学習可能なアテンションの有効性を検証する。
• GCNIIと自己アテンションの長所を統合した包括的かつスケーラブルなアーキテクチャを提供する。

提案手法

• 固定集約を隣接ノード上の学習可能なアテンションメカニズムに置き換えたGCNIIの変種、L-GCNIICATを提案する。
• ノード特徴量とエッジ接続性に基づいてアテンション係数を計算する微分可能アテンションモジュールを導入する。
• 訓練の安定化と勾配消失の緩和を図るため、GCNIIからの残差接続およびアイデンティティスキップ接続を採用する。
• 多スレッドアテンション機構を用いて多様な近傍パターンを捉え、モデルのロバストネスを向上させる。
• ラベルスムージングと重み減衰を用いた交差エントロピー損失を最適化することで、エンドツーエンドの学習を実現する。
• 2段階の訓練プロトコルを採用する：まず固定アテンションで事前学習を行い、その後学習可能なアテンションでファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 学習可能なアテンションは、推論的およびインダクティブなノード分類タスクにおけるGCNIIの性能を向上させ得るか？
• RQ2 アテンションメカニズムの統合は、深層GCNアーキテクチャにおける表現学習にどのように影響するか？
• RQ3 L-GCNIICATは、多様なグラフデータセットにおいてGCNIIおよびその変種よりも一般化性能に優れているか？
• RQ4 学習可能なアテンションはモデルのロバストネスおよび収束速度にどのような影響を及えるか？
• RQ5 異なるアテンションメカニズムは、性能および安定性の観点でどのように比較できるか？

主な発見

• Coauthor Physicsでは96.87%の正確度を達成し、GCNII（96.58%）およびGCNIIGAT（96.69%）を上回り、優れた一般化性能を示した。
• TwitchENでは61.14%の正確度を達成し、GCNIIGAT（57.76%）およびGCNIICAT（60.51%）を上回り、大規模グラフでも優れた性能を示した。
• Amazon Computers、Amazon Photo、Facebook PagePageを含む6つのベンチマークデータセットすべてにおいて、L-GCNIICATはGCNIIおよびその変種を一貫して上回った。
• Coauthor PhysicsではGCNIICATより0.18%の向上、TwitchENでは0.63%の向上を達成し、学習可能なアテンションの利点を裏付けた。
• アブレーションスタディの結果、特に高次数およびノイズの多いグラフにおいて、学習可能なアテンションが性能向上に顕著に寄与することが確認された。
• Coauthor Physicsでは標準偏差0.14%という低分散を維持しており、訓練の安定性が保たれていることが示された。