[論文レビュー] Adaptive Graph Diffusion Networks

Chuxiong Sun, Jie Hu+3 more|arXiv (Cornell University)|Dec 30, 2020

Advanced Graph Neural Networks被引用数 9

ひとこと要約

本稿では、深層GNNにおける過剰平滑化と過学習を緩和するため、層間でノード表現の重み付けを学習可能かつ適応的に行うことで、多ホップメッセージパッシングを強化する、新しいGNNアーキテクチャ「適応的グラフ拡散ネットワーク（AGDNs）」を提案する。AGDNsは、RevGNN や SEAL といった最先端モデルと比較して、著しく短い学習および推論実行時間で、複数のOGBベンチマークで最先端性能を達成している。

ABSTRACT

Graph Neural Networks (GNNs) have received much attention in the graph deep learning domain. However, recent research empirically and theoretically shows that deep GNNs suffer from over-fitting and over-smoothing problems. The usual solutions either cannot solve extensive runtime of deep GNNs or restrict graph convolution in the same feature space. We propose the Adaptive Graph Diffusion Networks (AGDNs) which perform multi-layer generalized graph diffusion in different feature spaces with moderate complexity and runtime. Standard graph diffusion methods combine large and dense powers of the transition matrix with predefined weighting coefficients. Instead, AGDNs combine smaller multi-hop node representations with learnable and generalized weighting coefficients. We propose two scalable mechanisms of weighting coefficients to capture multi-hop information: Hop-wise Attention (HA) and Hop-wise Convolution (HC). We evaluate AGDNs on diverse, challenging Open Graph Benchmark (OGB) datasets with semi-supervised node classification and link prediction tasks. Until the date of submission (Aug 26, 2022), AGDNs achieve top-1 performance on the ogbn-arxiv, ogbn-proteins and ogbl-ddi datasets and top-3 performance on the ogbl-citation2 dataset. On the similar Tesla V100 GPU cards, AGDNs outperform Reversible GNNs (RevGNNs) with 13% complexity and 1% training runtime of RevGNNs on the ogbn-proteins dataset. AGDNs also achieve comparable performance to SEAL with 36% training and 0.2% inference runtime of SEAL on the ogbl-citation2 dataset.

研究の動機と目的

• グラフ畳み込みと特徴変換を分離することで、深層GNNにおける過剰平滑化と過学習を緩和する。
• 従来のグラフ拡散手法で用いられる固定で事前に定義された重み係数の制限を克服する。
• 計算複雑性と実行時間を低減しながらも高いモデル容量を維持できるスケーラブルで効率的なアーキテクチャを開発する。
• 適応的メカニズムを用いて、異なる特徴空間における効果的な多ホップ情報集約を実現する。
• OGBベンチマークで挑戦的な性能を達成するとともに、SOTAモデル（例：RevGNN や SEAL）と比較して著しく低い学習および推論実行時間を維持する。

提案手法

• 標準的なGNNレイヤーに代わる効率的なグラフ拡散操作を備えた、洗練されたフレームワーク「グラフ拡散ネットワーク（GDNs）」を提案する。
• 多ホップ表現のための適応的重み係数を計算する2つの学習可能でスケーラブルなメカニズム—ホップ単位のアテンション（HA）およびホップ単位の畳み込み（HC）—を導入する。
• 複数の層にわたる一般化されたグラフ拡散を実行し、大きな密行列の累乗を避けて、小さな多ホップノード表現と学習可能な係数を組み合わせる。
• グラフ畳み込みと特徴変換を分離することで、余分な変換を低減し、過学習を緩和する。
• 多ホップ表現の反復的計算を用いることで、大規模な拡散行列の明示的保存を回避し、メモリ効率を向上させる。
• 標準的なGNN学習パイプラインとAGDNアーキテクチャを統合し、近傍サンプリングや残差接続といった既存技術との互換性を確保する。

実験結果

リサーチクエスチョン

• RQ1 固定係数のグラフ拡散と比較して、多ホップノード表現に対する学習可能で適応的な重み付けが、グラフ表現学習タスクのパフォーランス向上に寄与するか？
• RQ2 グラフ畳み込みと特徴変換を分離することで、モデル容量を損なわずに深層GNNにおける過学習と過剰平滑化が軽減されるか？
• RQ3 AGDNsは、RevGNN や SEAL といったSOTAモデルと比較して、OGBベンチマークで最先端のパフォーランスを達成するとともに、著しく低い学習および推論実行時間を維持できるか？
• RQ4 AGDNsは、特にSubgraphベースの手法（例：SEAL）と比較して、リンク予測タスクでどのように性能を発揮するか？
• RQ5 提案された適応的メカニズム（HA および HC）は、多様なグラフ構造において長距離依存関係を捉える能力をどの程度向上させるか？

主な発見

• 2022年8月26日現在、AGDNsはOGBベンチマークの ogbn-arxiv、ogbn-proteins、ogbl-ddi データセットで最先端性能を達成している。
• ogbn-proteinsでは、同じTesla V100 GPU上で、RevGNNと比較して13%低いモデル複雑度とわずか1%の学習実行時間で性能を達成した。
• ogbl-citation2では、36%少ない学習時間とわずか0.2%の推論時間でトップ3のパフォーマンスを達成した。
• ogbl-ddiでは、Hits@20が95.38%でAUC損失を設定し、公式リーダーボードで新たな最先端記録を樹立した。
• GPUメモリ制限による近傍サンプリングを適用しても、ogbl-citation2で全バッチGCN、GraphSAGE、PLNLPを上回る性能を示した。
• アブレーションスタディの結果、AGDNはGATのリンク予測性能を顕著に向上させ、その適応的メカニズムの有効性を裏付けた。