[論文レビュー] Certifiable Robustness to Graph Perturbations

Aleksandar Bojchevski, Stephan Günnemann|arXiv (Cornell University)|Oct 31, 2019

Adversarial Robustness in Machine Learning被引用数 52

ひとこと要約

本論文は、グラフニューラルネットワークやラベル/特徴伝搬に適用可能なグラフ摂動に対する検証可能なロバスト性保証を提案し、PageRankに基づく証明書とロバストな訓練を用いる。

ABSTRACT

Despite the exploding interest in graph neural networks there has been little effort to verify and improve their robustness. This is even more alarming given recent findings showing that they are extremely vulnerable to adversarial attacks on both the graph structure and the node attributes. We propose the first method for verifying certifiable (non-)robustness to graph perturbations for a general class of models that includes graph neural networks and label/feature propagation. By exploiting connections to PageRank and Markov decision processes our certificates can be efficiently (and under many threat models exactly) computed. Furthermore, we investigate robust training procedures that increase the number of certifiably robust nodes while maintaining or improving the clean predictive accuracy.

研究の動機と目的

• グラフ構造の敵対的摂動に対するグラフベースモデルのロバスト性を動機付け、定量化する。
• 局所予算下での検証可能なロバスト性のための効率的で厳密な証明書を提供し、グローバル予算下では厳密な証明書または下界証明を提供する。
• クリーンな精度を犠牲にすることなくロバスト性を向上させるロバスト訓練手順を開発する。

提案手法

• 予測をパーソナライズドPageRankの線形関数としてモデル化し、グラフ摂動下でのロバスト性証明書を可能にする。
• 固定エッジと壊れやすいエッジを含む脅威モデルと、グローバル/ローカル摂動予算を定義する。
• 予算制約下でPageRankに対する線形最適化としてロバスト性証明を変換し、局所予算についてはポリシー反復による厳密解を提供する。
• 補助グラフMDPを定式化し、再形成線形化手法(RLT)を用いて2次制約付き線形計画(QCLP)を解くことで下限を得ることで、グローバル予算に拡張する。
• 局所予算のみを考慮した場合に厳密な証明書を提供し、グローバル予算を含む場合には計算的に扱える界を提供する。
• 最悪ケースのマージンを活用して訓練中のロバスト性を改善するロバスト訓練損失を提案する。

実験結果

リサーチクエスチョン

• RQ1 特定の予算のもとで、ノードの予測が壊れやすいエッジのすべての許容摂動に対してロバストであると証明できるか？
• RQ2 局所摂動の証明書を効率的に計算するにはどうすればよいか、またグローバル予算下で扱いやすい界をどのように得られるか？
• RQ3 ロバスト性証明書を訓練の指針として用い、クリーンな精度を損なうことなくモデルの耐性を改善できるか？

主な発見

• 局所予算に対して厳密な証明書を計算でき、対象ノードの検証可能なロバスト性を決定できる。
• グローバル予算のシナリオはNP困難だが、最悪ケースのマージンの下界は補助グラフMDPとRLT緩和を用いたQCLPにより効率的に計算できる。
• 最悪ケースのマージンを用いたロバスト訓練は、クリーン精度を維持または向上させつつロバスト性を向上させる。
• 予測がパーソナライズドPageRankに対して線形であるクラスのモデル、GNNやラベル/特徴伝搬を含むに広く適用できる。
• ベンチマークグラフでの実験は、検証可能なロバスト性とロバスト性を高める訓練の実現性を示している。