[論文レビュー] Revisiting Graph Neural Networks: All We Have is Low-Pass Filters

Hoang Nt, Takanori Maehara|arXiv (Cornell University)|May 23, 2019

Advanced Graph Neural Networks参考文献 32被引用数 248

ひとこと要約

論文はグラフ信号処理を通じてGNNを分析し、GNNは主に低周波のフィルタリングを行い、学習はしばしば不要で、gfNNが高速なベースラインのデ denoising 手法として有効であることを示す。理論的・実証的証拠をベンチマーク全体で提供し、低周波グラフフィルター型ニューラルネットワークを導入する。

ABSTRACT

Graph neural networks have become one of the most important techniques to solve machine learning problems on graph-structured data. Recent work on vertex classification proposed deep and distributed learning models to achieve high performance and scalability. However, we find that the feature vectors of benchmark datasets are already quite informative for the classification task, and the graph structure only provides a means to denoise the data. In this paper, we develop a theoretical framework based on graph signal processing for analyzing graph neural networks. Our results indicate that graph neural networks only perform low-pass filtering on feature vectors and do not have the non-linear manifold learning property. We further investigate their resilience to feature noise and propose some insights on GCN-based graph neural network design.

研究の動機と目的

• GNNが頂点分類で機能する理由を理解するために、グラフ信号処理の視点を提案する。
• 標準のGCN/SGCの操作が主に低周波フィルタリングを行い、特徴をノイズ除去することを示す。
• gfNNを高速かつノイズ耐性のあるベースラインとして導入し、GCNとSGCと比較する。
• グラフベースの低周波フィルタリングが真の特徴とノイズの特徴に与える影響を理論的に特徴づける。

提案手法

• グラフラプラシアンと一般化固有ベクトルを用いてグラフフーリエ変換を定義し、グラフ信号をモデル化する。
• 隣接行列/正規化ラプラシアンによる伝播が低周波フィルタリングを実装することを示す。
• 低周波フィルタリングが真の特徴回復と最適化解を近似することを証明する（定理2、3、7、8）。
• gfNN（グラフフィルター ニューラルネットワーク）を2段階のパイプラインとして提案する：グラフフィルターを適用し、次に分類器で学習する。
• Assumption 1（低周波数の真の特徴とノイズを仮定）に基づく低周波フィルターのバイアス-分散分析を提供する。
• 現実データセット（Cora、Citeseer、Pubmed、Reddit、PPI、Two Circles）と合成データで、GCN、SGC、gfNNを比較する実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 Assumption 1（低周波数の真の特徴とノイズを仮定）において、GCN、SGC、およびgfNNは真の特徴で訓練されたモデルと同様の性能を示すか。
• RQ2 グラフで誘導された低周波フィルターは本質的にノイズのある特徴をデノイズするのか、そしてこれが学習とノイズ耐性にどう影響するのか。
• RQ3 単純なgfNNベースラインは従来のGCN/SGCの性能に匹敵するか、あるいはそれを超えるかつ訓練の高速化とノイズ耐性の向上を提供するか。
• RQ4 非線形な特徴空間では、SGCが線形伝播の制約により失敗する一方で、非線形gfNN/GCNが成功する場面はあるか。

主な発見

Dataset	Nodes	Edges	Features	Classes	Train/Val/Test Nodes ???
Cora	2,708	5,278	1,433	7	140/500/1,000
Citeseer	3,327	4,732	3,703	6	120/500/1,000
Pubmed	19,717	44,338	500	3	60/500/1,000
Reddit	231,443	11,606,919	602	41	151,708/23,699/55,334
PPI	56,944	818,716	50	121	44,906/6,514/5,524
Two Circles	4,000	10,000	2	2	80/80/3,840

• 低周波成分が分類の情報を主に運ぶ。高周波成分やノイズを追加すると性能が悪化し得る。
• 隣接行列/拡張隣接フィルタを掛けることは低周波フィルターとして機能し、自己ループを伴うと固有値を単調に縮小する。
• 現実的な仮定の下、真の特徴が低周波である場合、gfNNとGCNは真の特徴で訓練されたモデルと同等の結果を示す。
• gfNNは訓練時のグラフ乗算が不要で高速であり、特徴ノイズに対してGCNよりも堅牢である。
• SGCは真の特徴上では線形モデルのように振る舞い、非線形分離性では失敗する可能性がある。これは非線形設定でgfNN/GCNが成功する理由を説明する。
• 実験ではgfNNとSGCが複数のデータセットでGCNと同等の精度を達成し、ノイズ耐性も向上していることが示されている。GCNはノイズが大きい場合過適合する可能性がある。