[論文レビュー] Quasi-Framelets: Robust Graph Neural Networks via Adaptive Framelet Convolution

Mengxi Yang, Shi, Dai+3 more|arXiv (Cornell University)|Jan 11, 2022

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、スペクトル領域で適応的フィルタリング関数を直接設計することで、グラフニューラルネットワークにおけるロバスト性と柔軟性を向上させる、新しいスペクトルグラフ畳み込み手法であるQuasi-Framelets (QUFG) を提案する。マルチスケールのフレームレットに類似したフィルタリングと学習可能なモodulationを組み合わせることで、ノイズが多い・不均一なグラフ上でも性能が向上し、均一および不均一な設定の両方で最先端のモデルを大きく上回る精度とノイズ耐性を達成する。

ABSTRACT

This paper aims to provide a novel design of a multiscale framelet convolution for spectral graph neural networks (GNNs). While current spectral methods excel in various graph learning tasks, they often lack the flexibility to adapt to noisy, incomplete, or perturbed graph signals, making them fragile in such conditions. Our newly proposed framelet convolution addresses these limitations by decomposing graph data into low-pass and high-pass spectra through a finely-tuned multiscale approach. Our approach directly designs filtering functions within the spectral domain, allowing for precise control over the spectral components. The proposed design excels in filtering out unwanted spectral information and significantly reduces the adverse effects of noisy graph signals. Our approach not only enhances the robustness of GNNs but also preserves crucial graph features and structures. Through extensive experiments on diverse, real-world graph datasets, we demonstrate that our framelet convolution achieves superior performance in node classification tasks. It exhibits remarkable resilience to noisy data and adversarial attacks, highlighting its potential as a robust solution for real-world graph applications. This advancement opens new avenues for more adaptive and reliable spectral GNN architectures.

研究の動機と目的

• 既存のスペクトルGNNが不完全または摂動を受けるグラフデータを処理する際の限界を解消すること。
• 数学的に事前に定義されたフィルタの硬直性と、エンドツーエンドで学習するフィルタのデータ感受性を克服すること。
• スペクトル領域に直接モジュレーション関数を設計することで、柔軟なスペクトルフィルタリングを可能にすること。
• アテンション機構に依存せずに、不均一なグラフにおけるノード分類を向上させること。
• 多層次元のグラフ表現において、特徴ノイズ下での優れたロバスト性と、向上した性能を示すこと。

提案手法

• スペクトル領域に直接学習可能なモジュレーション関数を適用することで、スペクトルフィルタリングを制御する新しいグラフ畳み込み層、QUFGConv を提案する。
• グラフ信号の異なる周波数成分を分解・制御するための2組のモジュレーション関数を導入する。
• マルチスケールのフレームレットにインspiredした設計により、同時にローパスおよびハイパスフィルタリングを実現し、信号表現を向上させる。
• 均一および不均一なGNNフレームワークの両方においてQUFGConv層を適用し、HANにおけるアテンション機構を交換することで、公平な比較を実現する。
• グラフラプラシアンのスペクトル分解を用いて、ノード特徴量をスペクトル領域に射影し、フィルタリングを実行する。
• 不均一なグラフにおいて、メタパスベースの表現をQUFGConvを用いて集約し、複数のノード型およびエッジ型にわたるトポロジカルな意味を捉える。

(a) Sigmoid modulation Functions ( $\alpha=10$ )

実験結果

リサーチクエスチョン

• RQ1 学習済みまたは固定された数学的フィルタに依存するのではなく、スペクトル領域に直接モジュレーション関数を設計することで、スペクトルフィルタリングをより柔軟かつロバストにできるか？
• RQ2 提案されたQUFG畳み込みは、既存のスペクトルGNNと比較して、ノイズや欠損のある特徴を有するグラフ上で、性能をどのように向上させるか？
• RQ3 QUFGは、アテンション機構を用いずに、多様なタイプのグラフにおける不均一なトポロジカル構造を効果的に捉えることができるか？
• RQ4 QUFGのマルチスケールフィルタリング機能は、均一および不均一なグラフ設定の両方で、より優れた表現学習をもたらすか？
• RQ5 変動するノイズレベルやグラフ摂動下での性能において、QUFGは最先端のモデルと比較してどのように優れているか？

主な発見

• ガウスノイズ（σ=0.05）下のPubmedでは、QUFGが43.61% ± 2.97の精度を達成し、同条件で44.13%（GCN）および43.30%（UFG）を上回った。
• 同じデータセットでσ=0.2のノイズ下でも、QUFGは41.47% ± 2.24の精度を維持し、UFG（41.35%）およびGCN（41.11%）を上回り、優れたノイズ除去能力を示した。
• 不均一なグラフにおけるノード分類では、ACMで92.72%のマクロF1、IMDBで55.69%のマクロF1を達成し、HAN（89.40%および50.00%）およびUFG（91.45%および54.96%）を上回った。
• QUFGは性能のばらつきを低減し、DBLPとACMのそれぞれで標準偏差が0.64および0.56にとどまり、訓練の安定性が向上していることを示した。
• すべてのデータセットおよび指標において、線形フレームレットの先行モデルであるUFGよりも一貫して優れた性能を示し、適応的モジュレーションの有効性を裏付けた。
• QUFGはアテンション機構を一切使用せず、最先端の性能を達成しており、複雑なグラフ意味を捉えるために明示的な周波数成分制御がアテンションに代われる可能性を示唆している。

(b) Entropy modulation Functions ( $\alpha=50$ )