[論文レビュー] Bridging the Gap between Spatial and Spectral Domains: A Survey on Graph Neural Networks

Zhiqian Chen, Fanglan Chen+8 more|arXiv (Cornell University)|Feb 27, 2020

Advanced Graph Neural Networks参考文献 70被引用数 34

ひとこと要約

この論文は、空間ベースのGNNとスペクトルベースのGNNを統一する理論主導のフレームワークを提示し、既存の方法をドメインごとに3つのサブカテゴリーに整理し、それらの機構を周波数応答と集約の観点を通じて結びつける。

ABSTRACT

Deep learning's success has been widely recognized in a variety of machine learning tasks, including image classification, audio recognition, and natural language processing. As an extension of deep learning beyond these domains, graph neural networks (GNNs) are designed to handle the non-Euclidean graph-structure which is intractable to previous deep learning techniques. Existing GNNs are presented using various techniques, making direct comparison and cross-reference more complex. Although existing studies categorize GNNs into spatial-based and spectral-based techniques, there hasn't been a thorough examination of their relationship. To close this gap, this study presents a single framework that systematically incorporates most GNNs. We organize existing GNNs into spatial and spectral domains, as well as expose the connections within each domain. A review of spectral graph theory and approximation theory builds a strong relationship across the spatial and spectral domains in further investigation.

研究の動機と目的

• 空間領域とスペクトル領域のGNNを結ぶ統一フレームワークを提供する。
• 空間ベースの手法をノード集約タイプで、スペクトルベースの手法を周波数応答タイプで分類する。
• 領域間および領域内の関係をShowし、伝播とフィルタリングのパラダイム間の同値性を確立する。
• 現代のGNNの進展（例：過度平滑化、スケーラビリティ）が提案フレームワーク内でどう適合するかを分析する。

提案手法

• 空間領域でのノード集約 f(G)X をスペクトル領域で適用される周波数応答 g(Λ) に結びつけるグラフニューラルネットワークフレームワークを定義する。
• 空間法を線形、多項式、有理伝播（A-1、A-2、A-3）に、スペクトル法を線形、近似、多項式（B-1、B-2、B-3）に分類する。
• A-0 と B-0 の同値関係を確立し、サブカテゴリー間の一般化/特化のリンクを示す。
• 代表的なモデル（GCN、GraphSAGE、GIN、ChebNet、DCNN、SGC、ARMA、PPNP、LP）を統一フレームワークに翻訳して対応関係を示す。
• 時間計算量と表現力を議論し、サンプリングと過度平滑化の技法をフレームワークに関連づける。

実験結果

リサーチクエスチョン

• RQ1 空間ベースとスペクトルベースのGNNを単一の理論フレームワークの下で統一するにはどうすればよいか。
• RQ2 一般的な空間伝播スキームとスペクトルフィルタリング手法の正確な対応関係と同値性は何か。
• RQ3 スケーラビリティと過度平滑化のための現代的なGNN技術が統一フレームワーク内でどう適合するか。
• RQ4 統一されたカテゴリ間で表現力と計算効率のトレードオフはどうなるか。
• RQ5 逆伝播と有理近似は標準的な近傍集約の一般化として解釈できるか。

主な発見

• 統一された分類法は空間（A-1/A-2/A-3）とスペクトル（B-1/B-2/B-3）手法を対応づけ、集約と周波数応答の明確なリンクを示す。
• 多くの古典的なGNN（例：GCN、GraphSAGE、GIN）は線形伝播カテゴリの特定のインスタンスに対応し、明確なスペクトル的等価物を持つ。
• 多項式伝播と有理伝播は、計算コストの増加を伴うが表現力を高め、特に有理法は最も強力な近似能力を提供する。
• このフレームワークは過度平滑化とスケーリングの問題が提案されたA-0/B-0フレームワークの特殊ケースであり、近似理論を通じて分析できることを明らかにする。
• サンプリング手法（ランダムウォーク、サブグラフサンプリング）とスケーラビリティのための深層アーキテクチャはA-1/A-2カテゴリーに適合する一方、 cited discussions ではサンプリングはA-3やB-3に属さない。
• 表現力と効率のトレードオフがある：A-3/B-3 は難しい信号で速く収束する一方、オーバーヘッドが高くなる。