[論文レビュー] EvenNet: Ignoring Odd-Hop Neighbors Improves Robustness of Graph Neural Networks

Runlin Lei, Zhen Wang+3 more|arXiv (Cornell University)|May 27, 2022

Advanced Graph Neural Networks被引用数 15

ひとこと要約

EvenNet は、偶数次多項式グラフフィルタを用いて奇数ホップの近傍を無視することで、同型性と異型性の両方のグラフで強力な一般化を実現するスペクトル的GNNである。計算コストの増加なしに構造的攻撃に対して既存のモデルを上回る性能を発揮し、標準的なノード分類タスクにおいても競争力ある性能を維持する。

ABSTRACT

Graph Neural Networks (GNNs) have received extensive research attention for their promising performance in graph machine learning. Despite their extraordinary predictive accuracy, existing approaches, such as GCN and GPRGNN, are not robust in the face of homophily changes on test graphs, rendering these models vulnerable to graph structural attacks and with limited capacity in generalizing to graphs of varied homophily levels. Although many methods have been proposed to improve the robustness of GNN models, most of these techniques are restricted to the spatial domain and employ complicated defense mechanisms, such as learning new graph structures or calculating edge attentions. In this paper, we study the problem of designing simple and robust GNN models in the spectral domain. We propose EvenNet, a spectral GNN corresponding to an even-polynomial graph filter. Based on our theoretical analysis in both spatial and spectral domains, we demonstrate that EvenNet outperforms full-order models in generalizing across homophilic and heterophilic graphs, implying that ignoring odd-hop neighbors improves the robustness of GNNs. We conduct experiments on both synthetic and real-world datasets to demonstrate the effectiveness of EvenNet. Notably, EvenNet outperforms existing defense models against structural attacks without introducing additional computational costs and maintains competitiveness in traditional node classification tasks on homophilic and heterophilic graphs.

研究の動機と目的

• テスト時のグラフにおける同型性の変化に対して一般化性能が低いGNNの問題に対処すること。特に構造的攻撃下での性能向上を目的とする。
• エッジアテンションやグラフ再重み付けといった複雑な空間ドメインの防御に依存せずに、スペクトル的GNNの耐性を向上させること。
• バランス理論からの理論的知見を活用し、さまざまな同型性レベルに一般化可能なシンプルで効果的なスペクトル的GNNを設計すること。
• 奇数ホップの近傍を除外することで、同型性と異型性の両方の設定においてモデルの耐性が向上することを検証すること。

提案手法

• 奇数ホップの近傍からのメッセージを除外する偶数次多項式グラフフィルタに基づくスペクトル的GNN、EvenNetを提案する。
• バランス理論から導出され、2ステップパスなどの偶数次相互作用のみが保持されることで耐性が向上する。
• 同型性レベルの変化にわたる安定性と一般化を確保するため、フィルタ係数に対称性制約を適用する。
• スペクトルドメインにおけるフィルタ性能を評価するためのスペクトル回帰損失（SRL）を導入し、フィルタ形状とグラフの同型性の関係を明確にする。
• フィルタ係数にPPRに類似した初期化を採用し、αとKといったハイパーパrameterを最適化する。
• 追加の可学習層やアテンション機構を備えず、計算オーバーヘッドを最小限に抑えたシンプルなアーキテクチャを採用する。

実験結果

リサーチクエスチョン

• RQ1 奇数ホップの近傍を除外することで、構造的攻撃下におけるスペクトル的GNNの耐性が向上するか？
• RQ2 訓練時とテスト時のグラフにおける同型性ギャップがGNNの一般化に与える影響は何か？ また、これを軽減できるか？
• RQ3 偶数次項に制限されたフィルタは、全次数フィルタと比較して同型性と異型性の両方のグラフでより良い一般化性能を示すか？
• RQ4 シンプルなスペクトル的GNNは、複雑な空間ドメインの防御手法を上回って構造的攻撃に対して防御できるか？

主な発見

• EvenNet は ogbn-arxiv において非標的構造的攻撃に対して最先端の防御性能を達成し、EGCNGuard や GCN よりも低い学習時間を実現した。
• grb-cora および grb-citeseer データセットでは、グラフインジェクション攻撃（GIA）下でも耐性を維持し、TDGIA+HAO 条件下でそれぞれ 77.23% および 70.85% の精度を達成した。
• chameleon データセットでは MinMax 攻撃下で 52.87% ± 1.88 の精度を記録し、GPRGNN（50.42%）や H2GCN（51.42%）を上回った。
• EvenNet は標準的なノード分類タスクにおいても競争力ある性能を維持し、PGD+HAO 攻撃下で grb-cora で 76.24% の精度を達成し、EGCNGuard（75.50%）を上回った。
• 計算オーバーヘッドを最小限に抑え、ogbn-arxiv では1エポックあたり 0.38 秒の学習時間で、EGCNGuard の 1.181 秒よりも高速であった。
• 理論的分析により、偶数次多項式フィルタが同型性のシフトに対してより耐性があることが確認され、奇数ホップ近傍を無視する設計選択の妥当性が裏付けられた。