[論文レビュー] A New Perspective on the Effects of Spectrum in Graph Neural Networks

Mingqi Yang, Yanming Shen+4 more|arXiv (Cornell University)|Dec 14, 2021

Advanced Graph Neural Networks被引用数 8

ひとこと要約

本稿では、GNNの性能におけるスペクトルの滑らかさが重要な要因であることを特定し、非滑らかなスペクトルが信号相関を引き起こし、フィルタの表現力と深さを制限することを示している。著者らは、学習可能でスペクトル最適化されたグラフ行列を備えた相関なしアーキテクチャを提案し、より深い、より安定したモデルを実現し、グラフ表現学習タスクにおいて顕著に優れた性能を発揮する。

ABSTRACT

Many improvements on GNNs can be deemed as operations on the spectrum of the underlying graph matrix, which motivates us to directly study the characteristics of the spectrum and their effects on GNN performance. By generalizing most existing GNN architectures, we show that the correlation issue caused by the $unsmooth$ spectrum becomes the obstacle to leveraging more powerful graph filters as well as developing deep architectures, which therefore restricts GNNs' performance. Inspired by this, we propose the correlation-free architecture which naturally removes the correlation issue among different channels, making it possible to utilize more sophisticated filters within each channel. The final correlation-free architecture with more powerful filters consistently boosts the performance of learning graph representations. Code is available at https://github.com/qslim/gnn-spectrum.

研究の動機と目的

• スペクトル特性がGNN性能に与える影響を調査すること、特に非滑らかなスペクトルが信号相関を引き起こし、性能低下をもたらす理由を明らかにすること。
• 既存のGNNが、相関の緩和と強力なグラフフィルタの適用の間で生じるトレードオフの制限要因に縛られていることの特定。
• 相関の問題をフィルタ設計から分離する新しいアーキテクチャの提案により、より洗練されたフィルタの使用を可能にすること。
• 多項式フィルタの近似能力を向上させるために、高次スペクトル成分をサポートできるようにグラフ行列の基本を再定義すること。
• スペクトルに配慮した行列設計により、異なる深さやランダムシードにおいてモデルの安定性と性能を向上させること。

提案手法

• チャネル単位で独立したグラフ畳み込み演算を導入することで、フィルタ設計とスペクトル相関を分離した相関なしアーキテクチャを提案する。
• パラメータ $\rho$ でパラメータライズされた新しいグラフ行列表現 $\tilde{A}_{\rho}$ を導入し、標準の正規化隣接行列よりも滑らかく、より制御可能なスペクトルを実現する。
• 多項式フィルタに学習可能なフィルタ係数を適用することで、複雑なグラフフィルタの近似を向上させる。
• 標準の $\tilde{D}^{-1/2}\tilde{A}\tilde{D}^{-1/2}$ を $\tilde{A}_{\rho}$ に置き換えることで、スペクトル基底の多様性を向上させ、高次多項式基底をサポートする。
• 新しいアーキテクチャをノード分類およびグラフ分類タスクに適用し、深さ、フィルタ次数、ランダムシードごとの性能を比較する。
• アブレーションスタディを実施し、$\rho$、$k$、行列選択がモデルの安定性と一般化性能に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 グラフ行列のスペクトル滑らかさは、信号相関とGNN性能にどのように影響するか？
• RQ2 理論的には表現力があるにもかかわらず、なぜ既存のGNNはより強力なフィルタを活用できないのか？
• RQ3 相関の問題をフィルタ設計から分離することで、より深い、より効果的なGNNアーキテクチャを実現できるか？
• RQ4 異なるグラフ行列表現は、多項式フィルタの近似能力にどのように影響するか？
• RQ5 スペクトル滑らかさは、複数のランダムシードや深さ設定におけるモデルの安定性にどのような役割を果たすか？

主な発見

• 相関なしアーキテクチャに $\tilde{A}_{\rho}$ を使用した場合、ZINCではテストMAEが0.07未満に低下し、共有フィルタベースライン（0.150）および他のバリエーションを上回る性能を達成した。
• idp + $\tilde{A}_{\rho}$ の設定では、MAEが約0.088に近づき、0.11のベースラインと比べて顕著に低くなった。
• 相関なし設定では、多項式次数 $k$ を増加させることで性能が一貫して向上するが、共有フィルタケースでは上昇が止まり、頭打ちになる。
• 相関なしモデルは25層まで深さを増しても安定した性能を維持するが、共有フィルタモデルは20層を超えると急激に性能が低下した。
• $\tilde{A}_{\rho}$ および $\tilde{D}^{\epsilon}\tilde{A}\tilde{D}^{\epsilon}$ ではランダム実行間の標準偏差が0.01未満であったのに対し、$\tilde{D}^{-1/2}\tilde{A}\tilde{D}^{-1/2}$ では0.02を超えていたため、より優れた安定性を示した。
• $\rho=1/6, k=18$ の組み合わせが最も低いMAEを達成し、$\rho \times k$ を制御することで高次スペクトル基底の効果的利用が可能であることを示した。