[論文レビュー] NAFS: A Simple yet Tough-to-beat Baseline for Graph Representation Learning

Wentao Zhang, Zeang Sheng+5 more|arXiv (Cornell University)|Jun 17, 2022

Advanced Graph Neural Networks被引用数 7

ひとこと要約

NAFS は、ノード適応的特徴スムージングと複数の近傍ホップにわたる特徴アンサンブルを用いて、ノード埋め込みを向上させるトレーニング不要で非パrametricなグラフ表現学習手法である。深層 GNN における過剰スムージングおよびスケーラビリティの問題を効果的に緩和し、ノードクラスタリングおよびリンク予測において最先端の GNN よりも優れた性能を発揮する。トレーニング速度は最大 88.6 倍高速化される。

ABSTRACT

Recently, graph neural networks (GNNs) have shown prominent performance in graph representation learning by leveraging knowledge from both graph structure and node features. However, most of them have two major limitations. First, GNNs can learn higher-order structural information by stacking more layers but can not deal with large depth due to the over-smoothing issue. Second, it is not easy to apply these methods on large graphs due to the expensive computation cost and high memory usage. In this paper, we present node-adaptive feature smoothing (NAFS), a simple non-parametric method that constructs node representations without parameter learning. NAFS first extracts the features of each node with its neighbors of different hops by feature smoothing, and then adaptively combines the smoothed features. Besides, the constructed node representation can further be enhanced by the ensemble of smoothed features extracted via different smoothing strategies. We conduct experiments on four benchmark datasets on two different application scenarios: node clustering and link prediction. Remarkably, NAFS with feature ensemble outperforms the state-of-the-art GNNs on these tasks and mitigates the aforementioned two limitations of most learning-based GNN counterparts.

研究の動機と目的

• 深層 GNN におけるグラフ表現学習における過剰スムージングおよびスケーラビリティの制限を解決すること。
• 複雑なトレーニング可能な GNN アーキテクチャを凌駆する、単純な非パrametric特徴スムージングが可能かどうかを検討すること。
• トレーニングを一切行わず、構造的および特徴的情報を統合できるスケーラブルで効率的なベースラインを構築すること。
• エンドツーエンドの GNN を超える、解釈可能で効果的なグラフ表現学習の新たな視点を提供すること。

提案手法

• NAFS は、正規化された隣接行列の累乗を用いて、増加するホップ数に応じて近傍ノードの特徴を集約することで特徴スムージングを実行する。
• ノードごとの局所的構造的性質に基づいて動的に調整されるノード適応的重み付けを用いて、複数のホップにおけるスムージング特徴を組み合わせる。
• 平均、最大値、または連結を用いた特徴アンサンブルにより、複数のスムージング戦略にわたる表現多様性を高める。
• パramータ学習を完全に回避するため、トレーニング不要で大規模グラフに対しても非常に効率的である。
• 最終的なノード埋め込みは、多ホップスムージング特徴を適応的に組み合わせることで構成され、過剰スムージングのリスクを低減する。
• 安定的かつスケーラブルなスムージング操作を実現するため、正規化された隣接行列 $\hat{\mathbf{A}} = \mathbf{D}^{-1/2}\mathbf{A}\mathbf{D}^{-1/2}$ を活用する。

実験結果

リサーチクエスチョン

• RQ1 非パrametricでトレーニング不要な特徴スムージング手法が、グラフ表現学習において最先端のトレーニング可能な GNN よりも優れた性能を発揮できるか？
• RQ2 多ホップスムージング特徴に対するノード適応的重み付け戦略は、一様重み付けや単一ホップ戦略と比較して、性能をどのように向上させるか？
• RQ3 異なるスムージング作用素にわたる特徴アンサンブルは、表現品質をどの程度向上させるか？
• RQ4 NAFS は深層グラフ表現における過剰スムージング問題を効果的に緩和できるか？
• RQ5 限られたメモリと計算資源を持つ大規模グラフにおいて、NAFS は GNN と比較してどの程度スケーリング可能か？

主な発見

• ノードクラスタリングにおいて、NAFS は PubMed で GAE より 9.0%、AGE より 3.8% 高い NMI スコアを達成した。
• PubMed において、NAFS は GAE より最大 65.4 倍、AGE より最大 88.6 倍のトレーニング速度向上を達成した。
• ogbn-products において、NAFS は 100,000 ノードまでスケーリング可能で、推論時間は 23.7 秒であった。一方、GAE や AGE は OOM エラーのため 30,000 ノードを超えてトレーニングできなかった。
• NAFS の適応的重み付け戦略は、ナチュラル平均や単一ホップ手法とは異なり、高スムージングステップにおいても過剰スムージングを防止する。
• T-SNE 視覚化では、NAFS は 200 ホップのスムージングでもクラスの分離性を維持しているのに対し、ベースライン $\hat{\mathbf{A}}^k\mathbf{X}$ は完全に秩序を失っている。
• 特徴アンサンブル（平均、最大値、連結）は、すべてのデータセットで一貫して性能向上をもたらしたが、どの戦略が常に優れるとは限らない。