[論文レビュー] Adversarial Immunization for Improving Certifiable Robustness on Graphs

Shuchang Tao, Huawei Shen+3 more|arXiv (Cornell University)|Jul 19, 2020

HIV, Drug Use, Sexual Risk被引用数 1

ひとこと要約

この論文では、AdvImmuneを提案する。AdvImmuneは、グラフにおける敵対的攻撃に対する証明可能ロバスト性を向上させるために、小さな割合のノードペアを免疫化する二段階最適化フレームワークである。離散的なメタ勾配を効率的に計算することで、学術的・社会的ネットワークにおいて5%のエッジ免疫化予算で、ロバストなノードの割合を12%から65%まで向上させる。

ABSTRACT

Despite achieving strong performance in the semi-supervised node classification task, graph neural networks (GNNs) are vulnerable to adversarial attacks, similar to other deep learning models. Existing research works either focus on developing robust GNN models or attack detection methods against attacks on graphs. However, little research attention is paid to the potential and practice of immunization to adversarial attacks on graphs. In this paper, we formulate the problem of graph adversarial immunization as a bilevel optimization problem, i.e., vaccinating an affordable fraction of node pairs, connected or unconnected, to improve the certifiable robustness of the graph against any admissible adversarial attack. We further propose an efficient algorithm, called AdvImmune, which optimizes meta-gradient in a discrete way to circumvent the computationally expensive combinatorial optimization when solving the adversarial immunization problem. Experiments are conducted on two citation networks and one social network. Experimental results demonstrate that the proposed AdvImmune immunization method remarkably improves the fraction of robust nodes by 12%, 42%, 65%, with an affordable immune budget of only 5% edges.

研究の動機と目的

• グラフ免疫化の文脈において未だ十分に検討がなされていない、グラフニューラルネットワーク（GNNs）の敵対的攻撃に対する脆弱性に対処すること。
• 限定的な数のノードペアをワクチン接種することでロバスト性を最大化するように、グラフの敵対的免疫化を二段階最適化問題として定式化すること。
• 組み合わせ最適化のコストを回避するため、離散的メタ勾配計算を活用した効率的なアルゴリズムを開発すること。
• 実世界のグラフデータセットにおいて、あらゆる許容可能な敵対的摂動下でも予測が安定する、証明可能なロバスト性を向上させること。

提案手法

• 敵対的免疫化を二段階最適化問題として定式化する：上位段階は免疫化されるノードペアを選択し、下位段階は敵対的摂動下でのロバストなGNNの訓練を行う。
• 組み合わせ最適化問題を解くことなく、上位段階の目的関数を効率的に最適化できるように、離散的メタ勾配計算戦略を導入する。
• 下位段階のロバストな訓練のための微分可能代替関数を用い、免疫化戦略に対する勾配ベースの更新を可能にする。
• 連結および非連結なノードペアの両方に対して適用可能であり、グラフ構造全体にわたる柔軟な免疫化を可能にする。
• 実用的導入を保証するため、制限された予算（例：エッジの5%）の下で免疫化戦略を最適化する。
• グラフGNNの構造を活用し、免疫化がロバスト性認証にどのように影響するかを反映する勾配を計算する。

実験結果

リサーチクエスチョン

• RQ1 戦略的に選択された少数のノードペアを免疫化することで、グラフにおけるGNNの証明可能なロバスト性を顕著に向上させることができるか？
• RQ2 高価な組み合わせ探索を避けて、敵対的免疫化を効率的に定式化・最適化する方法は何か？
• RQ3 連結および非連結なノードペアの両方を免疫化することで、ロバスト性向上にどのような影響を与えるか？
• RQ4 限定的な免疫化予算の下で、提案手法がどの程度のロバスト性向上を達成できるか？

主な発見

• AdvImmuneは、学術的・社会的ネットワークの実世界データセットにおいて、わずか5%のエッジ免疫化予算で、証明可能なロバストなノードの割合を最大65%まで向上させる。
• 本手法は、全テストデータセットにわたり一貫したロバスト性向上を達成し、異なるネットワークでそれぞれ12%、42%、65%の向上を実現した。
• 離散的メタ勾配計算により、組み合わせ探索の計算的非現実性を回避した効率的な最適化が可能になった。
• 非連結なノードペアの免疫化も、ロバスト性向上に有意義な貢献を示しており、構造的免疫化が既存のエッジに限定されないことを示している。
• 強い敵対的攻撃に対しても、本手法は強力な性能を維持し、ロバスト性の有効な認証を示している。
• 結果から、モデルアーキテクチャや検出ベースの防御を超えて、免疫化がGNNのロバスト性を強化する有効で実現可能な戦略であることが検証された。