[論文レビュー] Scattering GCN: Overcoming Oversmoothness in Graph Convolutional Networks

Yimeng Min, Frederik Wenkel+1 more|arXiv (Cornell University)|Mar 18, 2020

Advanced Graph Neural Networks被引用数 56

ひとこと要約

本論文は Scattering GCN を提案する。グラフ畳み込みネットワークとグラフ幾何学的散乱を組み合わせたハイブリッドモデルで、過平滑化を緩和し、特に高度に連結したグラフ上でノード分類を改善する。

ABSTRACT

Graph convolutional networks (GCNs) have shown promising results in processing graph data by extracting structure-aware features. This gave rise to extensive work in geometric deep learning, focusing on designing network architectures that ensure neuron activations conform to regularity patterns within the input graph. However, in most cases the graph structure is only accounted for by considering the similarity of activations between adjacent nodes, which limits the capabilities of such methods to discriminate between nodes in a graph. Here, we propose to augment conventional GCNs with geometric scattering transforms and residual convolutions. The former enables band-pass filtering of graph signals, thus alleviating the so-called oversmoothing often encountered in GCNs, while the latter is introduced to clear the resulting features of high-frequency noise. We establish the advantages of the presented Scattering GCN with both theoretical results establishing the complementary benefits of scattering and GCN features, as well as experimental results showing the benefits of our method compared to leading graph neural networks for semi-supervised node classification, including the recently proposed GAT network that typically alleviates oversmoothing using graph attention mechanisms.

研究の動機と目的

• 深層グラフ畳み込みネットワーク（GCN）でのノードレベルタスクにおける過平滑化の動機づけと対処。
• 低通の GCN 動作とバンドパスの幾何学的散乱を組み合わせて、識別可能なノード情報を保持。
• 散乱特徴と GCN特徴を組み合わせる利点を理論と実験を通じて補完的であることを示す。
• 標準的なセミスーパーバイズドノード分類のベンチマークで提案するハイブリッドアーキテクチャを評価。

提案手法

• グラフ畳み込みとフィルタのためのグラフ信号処理とスペクトルグラフ理論の基礎のレビュー。
• 遅延ランダムウォーク P とウェーブレット Ψk を用いてグラフ上の幾何学的散乱を導入し、バンドパス表現を得る。
• ノードレベルの散乱伝播 U_p とノードレベルの活性化 H^ℓ = σ(U_p H^{ℓ−1} Θ^ℓ) を各組 p について定義。
• 各層で GCN チャンネルと散乱チャネルを連結するハイブリッドネットワークを提案（式 Eq. 7）。
• 高周波ノイズを制御し訓練を安定させるグラフ残差畳み込み A_res(α) を組み込み（H^{ℓ+1} の式）。
• ノードごとに ReLU 的非線形性 σ(. ) = | . |^q を用い、すべてのチャネルの重みとバイアスを学習する。

実験結果

リサーチクエスチョン

• RQ1 GCN にグラフ幾何学的散乱を追加することで過平滑化を緩和しつつ識別可能なノード情報を保持できるか。
• RQ2 バンドパス散乱チャネルは低通 GCN フィルターを超える補完情報をノード分類に提供するか。
• RQ3 Scattering GCN は標準的なセミスーパーバイズドベンチマークにおいて、トレーニングサイズを変化させた場合に最先端の GNN と比較してどのように性能を示すか。

主な発見

• Scattering GCN は Citeseer, Cora, Pubmed, DBLP のデータセットでいくつかのベースラインを上回り、特に DBLP では GAT を上回る顕著な利得を示す。
• ラベル付きデータが減少しても安定性を示し、トレーニングサイズが縮小するにつれて比較対象より高い精度を維持。
• バンドパス散乱チャネルは従来の GCN フィルターでは捉えられない情報を提供し、近接局所的な近傍が似ているノードの識別を助ける。
• ハイブリッドモデルは純粋な GCN ベースや純粋な散乱ベースのベースラインをしばしば上回り、二つのコンポーネントの補完的な利点を検証する。