[論文レビュー] Power up! Robust Graph Convolutional Network via Graph Powering

Ming Jin, Heng Chang+2 more|arXiv (Cornell University)|May 24, 2019

Advanced Graph Neural Networks被引用数 7

ひとこと要約

本稿では、標準的なグラフラプラシアンをパワー化されたラプラシアン作用素に置き換えることで、より良いスペクトル分離を実現し、トポロジカル攻撃に対してより高い耐性を示す、ロバストなグラフ畳み込みネットワークであるPowerGCNを提案する。この手法は、グラフパワーを用いて受容 field を拡大し、マルチスケール訓練パラダイムを採用することで、多様なグラフ構造にわたる転移性と一般化性能を向上させる。

ABSTRACT

Graph convolutional networks (GCNs) are powerful tools for graph-structured data. However, they have been recently shown to be vulnerable to topological attacks. To enhance adversarial robustness, we go beyond spectral graph theory to robust graph theory. By challenging the classical graph Laplacian, we propose a new convolution operator that is provably robust in the spectral domain and is incorporated in the GCN architecture to improve expressivity and interpretability. By extending the original graph to a sequence of graphs, we also propose a robust training paradigm that encourages transferability across graphs that span a range of spatial and spectral characteristics. The proposed approaches are demonstrated in extensive experiments to simultaneously improve performance in both benign and adversarial situations.

研究の動機と目的

• グラフ畳み込みのスペクトル的基盤を再考することで、標準的なGCNがトポロジカル攻撃に対して脆弱であるのを是正する。
• 疎でノイズの多いグラフにおいて、高次数ノードによるスペクトル汚染のため、第二固有ベクトルがコミュニティ構造を正しく捉えられないという古典的グラフラプラシアンの限界を克服する。
• グラフパワーを用いて、隣接ノードを超えた受容 field を拡張することで、GCNの空間的およびスペクトル的表現力の向上を図る。
• 空間的およびスペクトル的特性が異なるグラフ間での転移性を高めるためのロバストな訓練パラダイムを開発する。
• クリーンな状態と敵対的状態の両方で性能を維持する、証明可能にロバストなスペクトル畳み込み作用素を提供する。

提案手法

• パワー化されたラプラシアン行列 $ \mathcal{L}^{(k)} = (D^{-1/2} A D^{-1/2})^k $ を用いた新しいグラフ畳み込み作用素を提案し、スペクトル分離性と耐性を向上させる。
• 元のグラフから順次高次の $ k $ を持つパワー化グラフの系列を生成するマルチスケールグラフ構築戦略を導入し、受容 field を拡大する。
• 高次のパワー化隣接行列の計算コストを制御するためのスパarsification戦略を適用し、密度の高いグラフに対しても効率を維持する。
• 複数のパワー化グラフを重み付きアグリゲーションで統合するロバストな訓練パラダイムを設計し、異なるグラフトポロジ間での一般化と転移性を向上させる。
• 標準的なGCNアーキテクチャにパワー化ラプラシアンを統合し、GCN層の更新式におけるラプラシアンをそのまま置き換える：$ \bm{H}^{(l+1)} = \psi(\mathcal{A} \bm{H}^{(l)} \bm{W}^{(l)}) $、ここで $ \mathcal{A} $ は現在、パワー化された隣接行列である。
• パワー化のベースとして正規化された隣接行列 $ \tilde{A} = D^{-1/2} A D^{-1/2} $ を用い、スペクトル的性質における安定性とスケーラビリティを確保する。

実験結果

リサーチクエスチョン

• RQ1 グラフパワーは、第二固有ベクトルが高次数ノードによる汚染を受ける疎なグラフにおいて、GCNのスペクトル分離性を向上させ得るか？
• RQ2 標準的なグラフラプラシアンをパワー化ラプラシアンに置き換えることで、トポロジカル攻撃に対して証明可能なより良い耐性が得られるか？
• RQ3 マルチスケールグラフパワーは、異なるグラフ構造にわたるGCNの一般化および転移性をどの程度向上させるか？
• RQ4 既存のロバストGCNの変種と比較して、本手法はクリーンな状態と敵対的状態の両方でどの程度の性能を示すか？
• RQ5 高次のパワー化グラフの計算コストは、耐性や性能を損なわずに軽減可能か？

主な発見

• PowerGCNは、Cora、Citeseer、PubMedの各データセットで、クリーンな状態と敵対的状態の両方で最先端の性能を達成し、敵対的テストセットでは、vanilla GCNと比較して最大2.5%の精度向上を達成した。
• Citeseerデータセットでは、$ k=3 $ のPowerLapが、侵入攻撃下で $ 78.5\pm 0.4 $ のテスト精度を達成し、vanilla GCN や SGC や MixHop などの他のベースラインを上回った。
• 複数の攻撃タイプ（例：$ \mathcal{A}_{abr} $、DICE、Meta-Attack）に対して一貫した耐性向上が確認され、全評価データセットで正の耐性強化スコアを示した。
• PowerGCNの実行時間は、ベースラインと同等（Facebookソーシャルネットワークで6.36秒）であり、スパース化戦略により、高次の行列演算にもかかわらず計算効率が維持されていることが示された。
• パワー化ラプラシアンは、外れ値の固有値を抑制し、特に疎なグラフにおいて第二固有ベクトルの信号を強化することで、スペクトル的性質を改善した。
• マルチスケール訓練パラダイムは一般化性能を顕著に向上させ、PubMedではクリーン状態で $ 77.8\pm 0.9 $、敵対的攻撃下で $ k=3 $ 時に $ 78.5\pm 0.4 $ のテスト精度を達成した。