[論文レビュー] The Odds are Odd: A Statistical Test for Detecting Adversarial Examples

Kevin A. Roth, Yannic Kilcher+1 more|arXiv (Cornell University)|Feb 13, 2019

Adversarial Robustness in Machine Learning被引用数 60

ひとこと要約

本稿では、深層ニューラルネットワークにおける adversarial examples の検出および是正のための統計的検定を提案する。この手法は、ランダムノイズに対するログオッズのロバスト性に基づくもので、摂動が特徴表現およびログオッズに与える影響を分析することで、CIFAR-10 および ImageNet において、防御に注意を向ける攻撃者に対しても、99% の検出率（FPR < 1%）を達成し、是正後には 92% の精度を達成する。

ABSTRACT

We investigate conditions under which test statistics exist that can reliably detect examples, which have been adversarially manipulated in a white-box attack. These statistics can be easily computed and calibrated by randomly corrupting inputs. They exploit certain anomalies that adversarial attacks introduce, in particular if they follow the paradigm of choosing perturbations optimally under p-norm constraints. Access to the log-odds is the only requirement to defend models. We justify our approach empirically, but also provide conditions under which detectability via the suggested test statistics is guaranteed to be effective. In our experiments, we show that it is even possible to correct test time predictions for adversarial attacks with high accuracy.

研究の動機と目的

• モデルのアーキテクチャや勾配にアクセスせずに、信頼性が高く効率的な adversarial examples の検出手法を開発すること。
• 最適な p-ノルム制約付き攻撃から生じる adversarial perturbations の内在的統計的異常を同定すること。
• ノイズ誘発ログオッズ安定性を活用して、誤分類された adversarial 予測を是正できること。
• 防御に注意を向ける攻撃者（検出を回避するように攻撃を適応させる者）に対しても、その有効性を評価すること。

提案手法

• 本手法は、ランダム入力ノイズ下でのログオッズの分散に基づく検定統計量を計算し、adversarial perturbations に特有の方向性の異常を活用する。
• 清澄および adversarial 例から得たログオッズ統計量を用いて、2段階目のロジスティック分類器を訓練し、自然入力と摂動付き入力を区別する。
• モデルの勾配やアーキテクチャへのアクセスを必要とせず、入力のランダムノイズ汚染を用いて防御をキャリブレーションする。
• 本手法の根拠は、adversarial perturbations が自然入力とは異なり、ノイズ下で非ランダムかつ方向的な変化を特徴空間に引き起こすという洞察に基づく。
• ログオッズと特徴表現のノイズ下での安定性のみに依存するため、転送性に対してもロバストである。
• ノイズに強いログオッズを再評価することで、元のクラスに高い精度で回復できる予測是正が可能となる。

実験結果

リサーチクエスチョン

• RQ1 ランダムノイズ下でのログオッズ統計のみを用いて、adversarial examples を信頼性高く検出できるか？
• RQ2 adversarial perturbations は、自然入力に見られない特徴表現における特徴的な方向性の異常を引き起こすか？
• RQ3 攻撃者が防御メカニズムを認識している場合でも、この検出手法は有効に機能するか？
• RQ4 提案された統計的検定を用いて、adversarial 予測を高い精度で是正できるか？
• RQ5 特徴 squeezing や dropout 不確実性といった最先端の検出ベースラインと比較して、本手法はどのように差をつけるか？

主な発見

• L∞-PGD 攻撃下で CIFAR-10 において 99% の検出率（FPR < 1%）を達成し、清澄データでは 96%、adversarial サンプルでは 92% の精度を維持する。
• ImageNet では検出率が 99%、FPR 1% に達し、データセット間での強い一般化性能を示す。
• L2-PGD および L2-Carlini-Wagner 攻撃を用いる防御に注意を向ける攻撃者に対し、検出率は 71.4–81.3%、是正後精度は 56–56.6% を維持する。
• L∞-PGD 攻撃下で、特徴 squeezing（DenseNet）を上回り、検出率 99%（対比 55%）、adversarial サンプルの是正後精度 92%（対比 56%）を達成する。
• Feinman et al. (2017) が提唱した dropout 不確実性と比較すると、防御に注意を向ける L2-CW 攻撃下で 71.4% の検出率を達成し、ベースラインの 2% に比べ顕著に優れる。
• 検出に使用するノイズ分布と同じ条件下で攻撃者が摂動を最適化しても、本手法は依然として有効であるため、適応的攻撃に対して耐性があることが示された。