[論文レビュー] Simple Truncated SVD based Model for Node Classification on Heterophilic Graphs

Vijay Lingam, Rahul Ragesh+2 more|arXiv (Cornell University)|Jun 24, 2021

Advanced Graph Neural Networks参考文献 17被引用数 6

ひとこと要約

本稿では、異性接続グラフノード分類タスクにおいて、最先端手法を最大約30%上回る性能を示す単純なTruncated SVD (TSVD)に基づくモデルを提案する。ノード特徴量とグラフトポロジーの両方にTSVDを適用することで、誘導された負の辺を通じて高周波成分を捉え、メッセージスティング集約に依存せずに、ハードローパスフィルタとして効果的に機能する。

ABSTRACT

Graph Neural Networks (GNNs) have shown excellent performance on graphs that exhibit strong homophily with respect to the node labels i.e. connected nodes have same labels. However, they perform poorly on heterophilic graphs. Recent approaches have typically modified aggregation schemes, designed adaptive graph filters, etc. to address this limitation. In spite of this, the performance on heterophilic graphs can still be poor. We propose a simple alternative method that exploits Truncated Singular Value Decomposition (TSVD) of topological structure and node features. Our approach achieves up to ~30% improvement in performance over state-of-the-art methods on heterophilic graphs. This work is an early investigation into methods that differ from aggregation based approaches. Our experimental results suggest that it might be important to explore other alternatives to aggregation methods for heterophilic setting.

研究の動機と目的

• ノードが異なるラベルを持つことが一般的な異性接続グラフにおいて、グラフニューラルネットワーク（GNN）の性能が著しく劣化することを是正すること。
• 現在のGNNアーキテクチャを支配するメッセージスティング集約メカニズムの代替策を検討すること。
• Truncated SVDに基づく単純で効率的かつ解釈可能な手法を用いて、異性接続グラフにおけるノード分類性能を向上させること。
• 特徴量とグラフ構造のスペクトル分解が、学習ベースの集約よりも優れた表現をもたらすかどうかを調査すること。
• TSVDベースの正則化が、異性接続設定において効果的なインダクティブバイアスとして機能することを示すこと。

提案手法

• ノード特徴量行列とグラフ隣接行列の両方に独立してTruncated SVD (TSVD)を適用し、低ランク近似を抽出する。
• TSVD分解の左特異ベクトルから重み付き隣接行列を学習することで、新しいグラフを構築し、高周波成分を捉える誘導された負の辺を効果的に生成する。
• 標準的な近隣集約を避けるために、TSVD処理済み特徴量と修正されたグラフ構造を連結するアーキテクチャを採用する。
• 特異値の数（k）をハイパーパrameterとして扱い、特徴量およびグラフ構造の両方の次元制御を柔軟に可能にする。
• 訓練中にグラフ正規化を変化させ、対称正規化、行正規化、および正規化なしの3条件をテストし、性能への影響を評価する。
• GPR-GNNにインspiredされ、TSVDを特異ベクトルのスケーリングと選択の手段として解釈し、ハードローパスフィルタとして効果的に機能させている。

実験結果

リサーチクエスチョン

• RQ1 単純なTSVDベースの手法が、異性接続グラフノード分類においてメッセージスティングGNNを上回ることができるか？
• RQ2 ノード特徴量とグラフ構造の両方をTSVDで分解することで、異性接続設定においてより優れた表現学習が達成できるか？
• RQ3 TSVDから誘導された負の辺が、異性接続グラフにおける分類性能を向上させる高周波パターンを捉えることができるか？
• RQ4 TSVDによる性能向上が、多様な異性接続ベンチマークデータセットにわたり安定しているか？
• RQ5 集約ベースでないアプローチが、異性接続グラフにおいて最先端GNNと同等または優れた結果を達成できるか？

主な発見

• HLP ConcatモデルはSquirrelデータセットで74.17%の精度を達成し、ベースラインのGPR-GNN（56.59%）を17.58%上回り、最先端手法に対して約30%の相対的向上を示した。
• 切り捨てられた特異値の数（k）を変更することで性能が顕著に向上し、Squirrelではkを最適化したことで精度が56.59%から74.17%に上昇した。
• Texas, Wisconsin, Actor, Chameleon, Cornellの全ベンチマークデータセットにおいて、すべてのベースラインを上回り、一貫した向上を示した。
• 特徴量とグラフ構造の両方でkを可変にした場合、固定kよりも優れた結果が得られたことから、最適な次元はデータセットごとに異なることが示された。
• グラフ正規化の影響は強く、正規化をハイパーパrameterとして扱う（対称、行、なし）ことで、固定された対称正規化よりも性能が向上した。これは、標準的な正規化が性能を制限している可能性を示唆している。
• TSNE可視化により、HLP ConcatモデルがGPR-GNNよりも明確に分離されたクラスクラスタを生成していることが確認され、優れた埋め込み品質を示した。