[論文レビュー] How Framelets Enhance Graph Neural Networks

Xuebin Zheng, Bingxin Zhou+5 more|arXiv (Cornell University)|Feb 13, 2021

Advanced Graph Neural Networks参考文献 66被引用数 9

ひとこと要約

この論文は、フレームレット変換を用いたマルチスケール解析により、グラフ畳み込みとプーリングを強化するフレームレットベースのグラフニューラルネットワーク（GNN）を提案する。グラフ信号を低域通過および高域通過係数に分解し、新しいスhrinkage活性化関数を適用することで、ノードおよびグラフ分類において最先端の性能を達成するとともに、最大47.7％の圧縮比で効果的なノイズ除去と信号圧縮を実現し、予測精度を維持する。

ABSTRACT

This paper presents a new approach for assembling graph neural networks based on framelet transforms. The latter provides a multi-scale representation for graph-structured data. We decompose an input graph into low-pass and high-pass frequencies coefficients for network training, which then defines a framelet-based graph convolution. The framelet decomposition naturally induces a graph pooling strategy by aggregating the graph feature into low-pass and high-pass spectra, which considers both the feature values and geometry of the graph data and conserves the total information. The graph neural networks with the proposed framelet convolution and pooling achieve state-of-the-art performance in many node and graph prediction tasks. Moreover, we propose shrinkage as a new activation for the framelet convolution, which thresholds high-frequency information at different scales. Compared to ReLU, shrinkage activation improves model performance on denoising and signal compression: noises in both node and structure can be significantly reduced by accurately cutting off the high-pass coefficients from framelet decomposition, and the signal can be compressed to less than half its original size with well-preserved prediction performance.

研究の動機と目的

• マルチスケールグラフ表現を導入することで、グラフニューラルネットワークと信号処理を統合すること。
• フレームレット分解と再構成を用いて周波数ドメインで動作する新しいグラフ畳み込みメカニズムを開発すること。
• 高周波成分をしきい値処理する新しいスクリンギング活性化関数を提案し、ノイズ低減と信号圧縮を実現すること。
• エネルギー保存則に従うフレームレット誘導型グラフプーリング戦略を設計し、全情報の保存を図ること。
• ベンチマークデータセット上でノードおよびグラフ分類、ノイズ除去、データ圧縮の分野で性能向上を実証すること。

提案手法

• グラフラプラシアンとチェビシェフ多項式近似を用いて、フレームレット変換によりグラフ信号を低域通過および高域通過周波数成分に分解する。
• 低域通過および高域通過係数を組み合わせることで、スペクトルドメインにおけるマルチスケール特徴学習を可能にするフレームレットベースのグラフ畳み込みを設計する。
• 複数スケールでの高域通過係数をしきい値処理する新しいスクリンギング活性化関数を導入し、ノード特徴およびグラフ構造のノイズを効果的に低減する。
• フレームレットスパクルにおけるエネルギー保存則を活用して、スケール間の特徴を統合するフレームレットプーリング戦略を設計し、効率的な次元削減を実現する。
• 計算効率を向上させるために、フィルターバンクとテンソル化変換を統合する。
• 標準的なGNN最適化手法を用いてモデルを訓練し、ノードおよびグラフ分類ベンチマークで性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 フレームレット変換は、マルチスケール信号解析を用いて、グラフニューラルネットワークの表現能力を向上させることができるか？
• RQ2 提案されたスクリンギング活性化関数は、ReLUと比較してノード特徴およびグラフ構造のノイズ除去にどの程度優れているか？
• RQ3 フレームレットベースのGNNは、予測性能を維持したまま、どの程度グラフデータを圧縮できるか？
• RQ4 フレームレット誘導型プーリングは、情報保持および精度の観点で、従来の空間的またはスペクトル的プーリング手法を上回るか？
• RQ5 フレームレットのような信号処理ツールの統合が、グラフ学習タスクで最先端の性能を達成できるか？

主な発見

• 提案されたフレームレットベースのGNNは、複数のノードおよびグラフ分類ベンチマークで、既存の空間的およびスペクトル的GNNを上回る最先端の性能を達成した。
• スクリンギング活性化関数は、ノード特徴およびグラフ構造の両方のノイズを低減し、ノイズの多いデータに対するモデルのロバスト性を顕著に向上させた。
• グラフ信号は元のサイズの半分未満（47.7％の圧縮比）に圧縮可能であり、予測性能の損失は最小限に抑えられた。
• フレームレットプーリングは、フレームレットスパクルにおけるエネルギー保存則のおかげで全情報を保存し、効果的な次元削減を実現した。
• スケールレベルが2のモデルは、8つのアテンションヘッドを備えたGATと同等の計算複雑度であり、4×10⁴ノードを超える大きなグラフにおいてGATを上回った。
• Coraデータセットにおける可視化結果から、スクリンギング活性化関数が高域通過係数内でクラス固有の特徴を効果的に分離しており、ほとんどが無関係な係数がほぼゼロ値にまで低下していることが示された。