[論文レビュー] Certified Robustness of Graph Neural Networks against Adversarial Structural Perturbation

Binghui Wang, Jinyuan Jia+2 more|arXiv (Cornell University)|Aug 24, 2020

Adversarial Robustness in Machine Learning参考文献 73被引用数 5

ひとこと要約

本稿は、二値グラフ構造に特化したランダムスムージングを用いて、構造的摂動に対する図ニューラルネットワーク（GNN）の認証可能ロバスト性フレームワークを提案する。ノード分類およびグラフ分類の両方に対して、厳密で形式的に証明されたロバスト性保証を提供し、攻撃者が最大5エッジを変更できる状況下でCoraでは最大0.55の認証精度を達成し、15エッジの摂動では0.49の認証精度を達成する。

ABSTRACT

Graph neural networks (GNNs) have recently gained much attention for node and graph classification tasks on graph-structured data. However, multiple recent works showed that an attacker can easily make GNNs predict incorrectly via perturbing the graph structure, i.e., adding or deleting edges in the graph. We aim to defend against such attacks via developing certifiably robust GNNs. Specifically, we prove the certified robustness guarantee of any GNN for both node and graph classifications against structural perturbation. Moreover, we show that our certified robustness guarantee is tight. Our results are based on a recently proposed technique called randomized smoothing, which we extend to graph data. We also empirically evaluate our method for both node and graph classifications on multiple GNNs and multiple benchmark datasets. For instance, on the Cora dataset, Graph Convolutional Network with our randomized smoothing can achieve a certified accuracy of 0.49 when the attacker can arbitrarily add/delete at most 15 edges in the graph.

研究の動機と目的

• エッジの追加や削除などの構造的摂動に対するGNNの深刻な脆弱性に対処すること。
• このような構造的攻撃に対して、任意のGNN分類器に対して一般的で形式的かつタイトな認証可能ロバスト性保証を提供すること。
• 画像分類のロバスト性分野で用いられる手法であるランダムスムージングを、二値グラフデータに拡張し、確率的ロバスト性認証を可能にすること。
• グラフ空間における高次元的かつ組合せ的課題に直面しても、認証可能な摂動サイズを実用的に計算する手法を開発すること。
• ノード分類およびグラフ分類の両タスクにおいて、複数のGNNアーキテクチャとベンチマークデータセットを用いて、手法の実証的妥当性を検証すること。

提案手法

• グラフエッジを二値ベクトルとしてモデル化し、入力にランダムなノイズ（エッジの反転）を適用することで、ランダムスムージングを二値グラフ構造に適応する。
• ラベル予測に基づいてグラフ空間内に非交差領域を定義し、ロバスト性認証にネイマン＝ピアソンの補題を統計的仮説検定として適用する。
• 任意の最大Kエッジの構造的摂動に対し、スムージングされたGNNが同じラベルを予測するような認証可能な摂動サイズKを導出する。
• 確率的保証を伴う摂動下でのラベル予測確率の境界を推定するために、同時信頼区間推定（Jia et al., 2020a）を用いる。
• 推定された確率境界を用いて、可能な限りタイトな認証可能な摂動サイズを計算する最適化アルゴリズムを設計する。
• 元のグラフおよび摂動済みグラフからのハミング距離に基づく領域に対して、$\text{Pr}(X \in \mathcal{R}(w,v))$ および $\text{Pr}(Y \in \mathcal{R}(w,v))$ の正確な組合せ公式を活用する。

実験結果

リサーチクエスチョン

• RQ1 任意のGNNに対して、構造的摂動に対して一般的でタイトかつ形式的に証明可能な認証可能ロバスト性保証を提供できるか？
• RQ2 標準的なスムージング手法が適用できない離散的・二値的グラフデータに、ランダムスムージングを効果的に拡張する方法は何か？
• RQ3 スムージングされたGNNが高信頼性でロバストな状態を保つ最大エッジ摂動数$K$は何か？
• RQ4 異なるGNNアーキテクチャおよび実世界のグラフデータセットにおいて、認証可能ロバスト性の性能はどのようにスケーリングするか？
• RQ5 導出された認証可能ロバスト性境界はタイトであると言えるか？すなわち、同じ条件下でより大きな$K$を形式的に保証することは不可能か？

主な発見

• 攻撃者が最大5エッジを変更できる状況下で、Coraデータセットにおいて0.55の認証精度を達成した。
• 同じCoraデータセットにおいて、攻撃者が最大10エッジを変更する場合でも、認証精度は0.50を維持した。
• Coraで15エッジの摂動が加えられた場合でも、認証精度は0.49を維持し、顕著な構造的変化に対してもロバストであることを示した。
• 本手法はタイトな認証可能ロバスト性保証を提供しており、追加の仮定なしではより大きな摂動サイズを形式的に保証できないことを示している。
• 実証的評価により、複数のGNN（GCN、GAT、GIN）およびデータセット（Cora、Citeseer、Pubmed、MUTAG、PROTEINS、IMDB）において、本手法の有効性が確認された。
• 組合せ的複雑性が著しいグラフ空間においても、信頼区間推定と特化した最適化を用いることで、認証可能な摂動サイズの計算が実用的に可能であることが示された。