[論文レビュー] Simplified Graph Convolution with Heterophily

Sudhanshu Chanpuriya, Cameron Musco|arXiv (Cornell University)|Feb 8, 2022

Advanced Graph Neural Networks被引用数 6

ひとこと要約

本稿では、特徴の平滑化フィルタを各特徴ごとに適応させる非深層的で高速かつ解釈可能な手法である適応的シンプルグラフ畳み込み（ASGC）を提案する。この手法は、同型的および異型的グラフ構造の両方を処理できる。SGCとは異なり、異型的グラフで失敗するが、ASGCは実世界のデータセット、特に強い異型性を示すものでも、最先端の深層モデルと同等の性能を達成する。また、新規の合成モデル（FSBM）のもとで、両方のグラフタイプにおいて特徴のノイズ除去が理論的に保証される。

ABSTRACT

Recent work has shown that a simple, fast method called Simple Graph Convolution (SGC) (Wu et al., 2019), which eschews deep learning, is competitive with deep methods like graph convolutional networks (GCNs) (Kipf & Welling, 2017) in common graph machine learning benchmarks. The use of graph data in SGC implicitly assumes the common but not universal graph characteristic of homophily, wherein nodes link to nodes which are similar. Here we confirm that SGC is indeed ineffective for heterophilous (i.e., non-homophilous) graphs via experiments on synthetic and real-world datasets. We propose Adaptive Simple Graph Convolution (ASGC), which we show can adapt to both homophilous and heterophilous graph structure. Like SGC, ASGC is not a deep model, and hence is fast, scalable, and interpretable; further, we can prove performance guarantees on natural synthetic data models. Empirically, ASGC is often competitive with recent deep models at node classification on a benchmark of real-world datasets. The SGC paper questioned whether the complexity of graph neural networks is warranted for common graph problems involving homophilous networks; our results similarly suggest that, while deep learning often achieves the highest performance, heterophilous structure alone does not necessitate these more involved methods.

研究の動機と目的

• ノードが類似しない近隣ノードに接続する異型的グラフにおいて、シンプルグラフ畳み込み（SGC）の限界を解消すること。
• 同型的および異型的グラフ構造の両方に適応可能な、非深層的でスケーラブルかつ解釈可能な手法を開発すること。
• 両方のグラフタイプにおける特徴のノイズ除去の性能保証を分析・証明する理論的枠組み—特徴付き確率的ブロックモデル（FSBM）—を提唱すること。
• 実験的に、ASGCが多様な実世界データセット、特に強い異型性を示すものでも、競争力あるノード分類精度を達成することを示すこと。
• 異型的グラフにおいて高い性能を発揮するには深層学習が必要であるという仮定に挑戦し、単純な非深層手法が効果的であることを示すこと。

提案手法

• ASGCは、各入力特徴に対して異なる平滑化フィルタを学習するために線形最小二乗法を用い、同型的（平滑化）および異型的（非平滑化）構造の両方に適応可能である。
• この手法は、学習されたフィルタ行列を介して特徴伝搬を実行し、SGCの固定された対称正規化を、特徴固有の適応的フィルタリングに置き換える。
• ノード分類は正則化最小二乗問題として定式化される：$ \| \mathbf{X} \mathbf{W} - \mathbf{Y} \|_F^2 + \lambda \| \mathbf{W} \|_F^2 $、ここで$ \mathbf{W} $は各特徴ごとに学習される重み行列である。
• フィルタリングプロセスは、正則化回帰問題を解くことに等しく、グラフ構造に基づいて特徴をノイズ除去する。正則化強度は交差検証により調整される。
• ASGCは計算的に効率的で解釈可能であり、バックプロパゲーションや深層非線形性を避けるため、GCN や他の GNN とは異なっている。
• この手法は、同型的および異型的ネットワークを含む10個の実世界データセットのベンチマークで評価され、標準的な訓練/検証/テスト分割が用いられている。

実験結果

リサーチクエスチョン

• RQ1 ノードが類似しない近隣ノードに接続する異型的グラフにおいて、SGCのような単純な非深層的手法が効果的に機能するか。
• RQ2 深層学習を用いずに、特徴の平滑化を同型的および異型的グラフ構造の両方に適応させる方法は何か。
• RQ3 同型性と異型性の両方を捉え、形式的な性能分析を可能にする理論的根拠のある合成モデルが存在するか。
• RQ4 非深層的手法が、混合された同型性と異型性を示す実世界のデータセットにおいて、最近の深層GNNと同等の性能を達成できるか。
• RQ5 異型的グラフにおいて、深層モデルに明確な性能優位性があるのか、それとも単純な特徴前処理で十分なのか。

主な発見

• ASGCは、PubMed や Actor、Texas などの異型的データセットにおいて、固定された平滑化フィルタにより失敗するSGCを著しく上回る。
• 10個の実世界データセットのベンチマークにおいて、ASGCは全データセットで最良手法の性能の90％以上を達成し、SGCを上回り、GPR-GNN や Geom-GCN などの深層モデルと同等または上回る性能を示した。
• ASGCは、データセット全体における平均的割合精度がGPR-GNNに次いで2番目に高く、最小性能が最も高いことから、高いロバスト性を示している。
• 理論的分析により、ASGCは同型的および異型的FSBMの両方において特徴のノイズ除去が可能であることが示されたが、SGCは異型的ケースで失敗することが判明した。
• 同型的データセットでは、ASGCは深層モデルと同等の性能を維持しており、非深層手法が標準的な状況でも有効であることを確認した。
• 結果から、異型的グラフにおいて高い性能を発揮するには深層学習が必須ではないことが示唆され、単純で適応可能な特徴フィルタリングで十分である可能性がある。