[論文レビュー] Overcoming Oversmoothness in Graph Convolutional Networks via Hybrid Scattering Networks

Frederik Wenkel, Yimeng Min+3 more|arXiv (Cornell University)|Jan 22, 2022

Advanced Graph Neural Networks被引用数 8

ひとこと要約

本稿では、従来のGCNフィルタと幾何スキャatteringから導出されたバンドパスフィルタを組み合わせることで、GCNにおける過剰な平滑化（oversmoothing）と未到達（underreaching）の問題を克服するハイブリッドグラフニューラルネットワークフレームワークを提案する。スキャatteringに基づく高周波特徴抽出とアテンションメカニズムを統合することで、ノードおよびグラフレベルの表現学習が向上し、特に低同型性（low-homophily）設定において、ノード分類および回帰ベンチマークで最先端の性能を達成する。

ABSTRACT

Geometric deep learning has made great strides towards generalizing the design of structure-aware neural networks from traditional domains to non-Euclidean ones, giving rise to graph neural networks (GNN) that can be applied to graph-structured data arising in, e.g., social networks, biochemistry, and material science. Graph convolutional networks (GCNs) in particular, inspired by their Euclidean counterparts, have been successful in processing graph data by extracting structure-aware features. However, current GNN models are often constrained by various phenomena that limit their expressive power and ability to generalize to more complex graph datasets. Most models essentially rely on low-pass filtering of graph signals via local averaging operations, leading to oversmoothing. Moreover, to avoid severe oversmoothing, most popular GCN-style networks tend to be shallow, with narrow receptive fields, leading to underreaching. Here, we propose a hybrid GNN framework that combines traditional GCN filters with band-pass filters defined via geometric scattering. We further introduce an attention framework that allows the model to locally attend over combined information from different filters at the node level. Our theoretical results establish the complementary benefits of the scattering filters to leverage structural information from the graph, while our experiments show the benefits of our method on various learning tasks.

研究の動機と目的

• GCNにおける過剰な平滑化問題に対処すること。これは、複数層にわたる処理によってノード表現が同一視できなくなる、過剰なローパスフィルタリングに起因する。
• 局所的受容場を超えた長距離依存関係やグローバルなグラフ構造を捉えることで、未到達問題を軽減すること。
• 幾何スキャatteringによるバンドパスフィルタリングを統合することで表現力の向上を図ること。これにより、高周波成分の構造的情報を捉えることができる。
• GCN風のローパスフィルタとスキャターリングベースのバンドパスフィルタを組み合わせたハイブリッドアーキテクチャを構築し、ノードレベルおよびグラフレベルの表現学習を改善すること。
• 提案されたフレームワークの有効性を、半教師ありノード分類およびグラフレベル回帰タスクにおいて検証すること。

提案手法

• 標準的なGCNフィルタと幾何スキャターリングフィルタを組み合わせたハイブリッドGNNフレームワークを導入。スキャターリングフィルタは、繰り返しのグラフウェーブレットと局所非線形関数のカスケードによって構築される。
• GCNフィルタとスキャターリングフィルタの両方の特徴を統合したノードレベルのアテンションメカニズムを新規に採用。これにより、低周波と高周波情報の適応的融合が可能になる。
• 幾何スキャターリング変換を用いて、グラフトポロジーに敏感な構造的特徴を抽出。特に、長距離依存関係や高周波パターンを捉えるのに効果的である。
• 二段階アーキテクチャを採用：第一段階ではスキャターリング層がマルチスケールの構造的特徴を抽出。第二段階では、学習可能なアテンションを用いたグラフ残差畳み込み層で情報を集約。
• グラフレベル分類にはSet2Setプーリング層に続くMLPを、回帰タスクには平均プーリングとMLPをそれぞれ適用。
• 比較評価のためのアブレーションベースラインを提供。これにはスキャターリングのみのモデル（Sc-only）と標準的なGCN/GATモデルが含まれる。

実験結果

リサーチクエスチョン

• RQ1 GCN風のローパスフィルタとスキャターリングベースのバンドパスフィルタを組み合わせることで、グラフニューラルネットワークにおける表現学習が向上するか？
• RQ2 提案されたハイブリッドアーキテクチャは、ノード分類タスクにおいて過剰な平滑化を効果的に低減すると同時に、性能を維持または向上させることができるか？
• RQ3 複数のフィルタタイプに対するアテンションメカニズムが、特に低同型性グラフ設定において、モデルの一般化能力をどの程度向上させるか？
• RQ4 ハイブリッドスキャターリング-GNNフレームワークは、グラフレベル分類および回帰タスクにおいて、最先端のモデルと比較してどの程度優れているか？
• RQ5 幾何スキャターリングフィルタは、GCN単体では捉えきれない補完的な構造的情報を提供できるか？

主な発見

• Sc-GCNモデルはCOLLABで70.4%のテスト精度、IMDB-BINARYで76.0%を達成。GCN（59.2%および71.0%）とGAT（52.3%および63.2%）を上回り、過剰な平滑化に対する耐性が向上していることが示された。
• GSANモデルはZINCで43.0のテスト誤差、Lipophilicityで1.02を達成。GCN（46.9および1.05）とGAT（46.3および0.950）を上回り、グラフレベル回帰において優れた性能を示した。
• スキャターリングのみのベースライン（Sc-only）はCOLLABで64.0%、IMDB-BINARYで71.0%を達成。スキャターリング特徴のみでも有効であるが、ハイブリッドアプローチに比べてやや劣る。
• 低同型性設定において、ハイブリッドGSANフレームワークはすべてのベースラインを大きく上回り、長距離依存関係や構造的複雑性を捉える能力が顕著に向上していることを示した。
• 理論的分析により、ノード特徴が構造的情報を符号化している場合、スキャターリングフィルタは標準的なGCNフィルタよりもグラフトポロジーに対してより感受性が高いことが確認された。
• 実験的結果から、GCNとスキャターリング特徴の両方を対象としたアテンションが、複雑で非同型性の高いグラフにおいて一般化性能の向上に寄与することが示された。