[論文レビュー] ASWT-SGNN: Adaptive Spectral Wavelet Transform-based Self-Supervised Graph Neural Network

Ruyue Liu, Rong Yin+2 more|arXiv (Cornell University)|Dec 10, 2023

Advanced Graph Neural Networks被引用数 6

ひとこと要約

本稿では、固有値分解を回避するための適応的スペクトルウェーブレット変換を用いて、スペクトルおよび空間的領域で柔軟で局所的なフィルタを学習する自己教師付きグラフニューラルネットワーク、ASWT-SGNNを提案する。ウェーブレットフィルタをスペクトル適応多項式で近似し、対照的損失で最適化することで、計算コストを低減しつつノード分類において最先端の性能を達成する。

ABSTRACT

Graph Comparative Learning (GCL) is a self-supervised method that combines the advantages of Graph Convolutional Networks (GCNs) and comparative learning, making it promising for learning node representations. However, the GCN encoders used in these methods rely on the Fourier transform to learn fixed graph representations, which is inherently limited by the uncertainty principle involving spatial and spectral localization trade-offs. To overcome the inflexibility of existing methods and the computationally expensive eigen-decomposition and dense matrix multiplication, this paper proposes an Adaptive Spectral Wavelet Transform-based Self-Supervised Graph Neural Network (ASWT-SGNN). The proposed method employs spectral adaptive polynomials to approximate the filter function and optimize the wavelet using contrast loss. This design enables the creation of local filters in both spectral and spatial domains, allowing flexible aggregation of neighborhood information at various scales and facilitating controlled transformation between local and global information. Compared to existing methods, the proposed approach reduces computational complexity and addresses the limitation of graph convolutional neural networks, which are constrained by graph size and lack flexible control over the neighborhood aspect. Extensive experiments on eight benchmark datasets demonstrate that ASWT-SGNN accurately approximates the filter function in high-density spectral regions, avoiding costly eigen-decomposition. Furthermore, ASWT-SGNN achieves comparable performance to state-of-the-art models in node classification tasks.

研究の動機と目的

• スペクトルGCNにおける固定でグローバルなフィルタが引き起こす空間的・スペクトル的トレードオフと高い計算コストの問題を解決すること。
• 既存のグラフ畳み込みネットワークが、異なるグラフサイズにおける近隣ノードの集約を制御する柔軟性に欠ける問題を克服すること。
• 固有値分解を必要とせず、スペクトルおよび空間的領域で学習可能で局所的なフィルタリングを可能にする自己教師付きGNNフレームワークを開発すること。
• 大規模グラフにおいても計算効率とスケーラビリティを維持しながら、ノード分類で競争力のある性能を達成すること。

提案手法

• 本手法は、ウェーブレットフィルタ関数の近似にスペクトル適応多項式を用い、スペクトルおよび空間的領域での局所的フィルタリングを可能にする。
• ウェーブレットスケールを直接最適化するために対照的学習を採用し、モデルがタスク固有のフィルタ応答を学習できるようにする。
• グラフネットワークにおける深層メッセージパッシングにおける過剰スムージングを軽減するために、残差接続を導入する。
• ウェーブレット演算子の多項式近似により、グラフラプラシアンの高価な固有値分解を回避する。
• 複数のグラフの拡張ビューに対して自己教師付き対照的目的関数を用いて、エンドツーエンドでモデルを訓練する。
• 本アプローチは、すべてのメッセージパッシングGNNおよび多項式グラフフィルタと互換性があり、広範な適用可能性を有する。

実験結果

リサーチクエスチョン

• RQ1 固有値分解に依存せずに、スペクトルおよび空間的領域で柔軟で学習可能なフィルタリングを実現できる自己教師付きGNNは構築可能か？
• RQ2 固定されたスペクトルまたは空間的畳み込みと比較して、適応的スペクトルウェーブレットフィルタリングはノード表現学習をどのように改善するか？
• RQ3 提案手法は、ノード分類タスクにおける性能を維持または向上させつつ、計算複雑性をどの程度低減できるか？
• RQ4 局所的およびグローバル情報の捉え方のバランスが、異なるグラフ構造におけるモデルの一般化性能にどのように影響するか？

主な発見

• ASWT-SGNNは、8つのベンチマークデータセットのうち6つでノード分類において最先端の性能を達成し、最良の自己教師付きモデル（MaskGAE）を平均0.8%上回った。
• 半教師あり設定では、最良の半教師ありベンチマーク（GCNII）を平均3.1%、MaskGAEを2.0%上回った。
• GCNやGWNNとは異なり、層の深さが増しても安定した性能を維持した。これは、深さに伴う深刻な過剰スムージングの問題を回避していることを示している。
• t-SNE可視化では、MA-GCLと比較して、ASWT-SGNNがより分離可能でクラス判別性の高いノード埋め込みを生成しており、明確なクラス境界が得られている。
• アブレーションスタディの結果、ハイパーパrameter α（残差接続を制御）と β（ウェーブレットベースの寄与度を制御）のバランスの取れた設定が最適な性能を達成することが確認された。
• 固有値分解を必要とせず、高密度なスペクトル領域においてもフィルタ関数の高精度な近似を実現し、計算コストを顕著に削減した。