[論文レビュー] Are Odds Really Odd? Bypassing Statistical Detection of Adversarial Examples

Hossein Hosseini, Sreeram Kannan+1 more|arXiv (Cornell University)|Jul 28, 2019

Adversarial Robustness in Machine Learning参考文献 21被引用数 14

ひとこと要約

本稿では、良性画像のロジット統計を模倣する adversarial examples を生成する Logit Mimicry Attack (LMA) を提案する。この手法により、統計的および分類器ベースの検出手法を回避できる。繰り返し訓練された適応的攻撃に対しても検出不能であることが示され、ロジットベースの検出が adversarial examples を同定する上で根本的に信頼できないことが証明される。

ABSTRACT

Deep learning classifiers are known to be vulnerable to adversarial examples. A recent paper presented at ICML 2019 proposed a statistical test detection method based on the observation that logits of noisy adversarial examples are biased toward the true class. The method is evaluated on CIFAR-10 dataset and is shown to achieve 99% true positive rate (TPR) at only 1% false positive rate (FPR). In this paper, we first develop a classifier-based adaptation of the statistical test method and show that it improves the detection performance. We then propose Logit Mimicry Attack method to generate adversarial examples such that their logits mimic those of benign images. We show that our attack bypasses both statistical test and classifier-based methods, reducing their TPR to less than 2:2% and 1:6%, respectively, even at 5% FPR. We finally show that a classifier-based detector that is trained with logits of mimicry adversarial examples can be evaded by an adaptive attacker that specifically targets the detector. Furthermore, even a detector that is iteratively trained to defend against adaptive attacker cannot be made robust, indicating that statistics of logits cannot be used to detect adversarial examples.

研究の動機と目的

• 統計的検出手法を分類器ベースのアプローチに適応することで、adversarial examples の検出性能を向上させること。
• 良性画像のロジット統計と区別できないロジット統計を持つ adversarial examples を生成する攻撃を開発すること。
• 分類器および検出器を同時に標的とする適応的攻撃に対して、検出手法の頑健性を評価すること。
• 繰り返し訓練によってロジットベースの検出を頑健化できるかどうかを調査すること。

提案手法

• クリーンなロジットとノイズを含むロジットを入力として用い、adversarial examples を検出する統計的検定手法の分類器ベースの適応を提案する。
• ノイズ下での良性画像のロジット分布と一致するロジットを持つ adversarial examples を生成する Logit Mimicry Attack (LMA) を開発する。
• 標準的な adversarial 損失と検出器損失を組み合わせた損失関数を用い、同時に分類器と検出器を回避する。
• 模倣 adversarial examples で訓練した検出器の性能を向上させ、その後、分類器および検出器を標的とする適応的攻撃に対する頑健性をテストする。
• 検出器を回避するように特に設計された adversarial examples を用いて、繰り返し検出器を再訓練し、適応的攻撃者をシミュレートする。
• α=0.25 を用いた組み合わせ損失関数 ℓ_adaptive(x,yt) = αℓ_LMA(x,yt) + (1−α)ℓ_D(x) を用いて、ネットワークと検出器の両方の回避をバランスさせる。

実験結果

リサーチクエスチョン

• RQ1 統計的検出手法の分類器ベースの適応は、元の検定法を上回る検出性能を達成できるか？
• RQ2 良性画像のロジット統計に密接に類似した統計を持つ adversarial examples を作成可能か？ その結果、検出を回避できるか？
• RQ3 模倣 adversarial examples で訓練した検出器は、分類器および検出器を同時に標的とする適応的攻撃に対しても頑健性を保てるか？
• RQ4 特定の検出器を標的とする適応的攻撃に耐えるように、繰り返し訓練によって検出器を頑健化できるか？
• RQ5 ロジットの統計的性質は、良性と adversarial な画像の間で根本的な違いを示すものか？

主な発見

• 統計的検定手法の分類器ベースの適応は、検出性能を向上させ、特に低ノイズ領域において元の検定法よりも高い真正陽性率を達成する。
• Logit Mimicry Attack は統計的検定および分類器ベースの検出の両方を効果的に回避し、5%の偽陽性率でも真正陽性率をそれぞれ2.2%未満および1.6%未満にまで低下させる。
• 模倣 adversarial examples で訓練した検出器は5% FPRで62.7%の真正陽性率を達成するが、適応的攻撃者により回避され、5% FPRで真正陽性率が1.7%に低下する。
• 適応的攻撃に耐えるように繰り返し訓練した検出器でさえ、5% FPRで2.9%の真正陽性率にしか達しない。
• 結果から、良性と adversarial な画像の間でロジットの統計的区別可能性は、深層ネットワークの根本的特性ではないことが示され、このような検出手法は本質的に脆いことがわかる。
• 適応的訓練でさえ、ロジットベースの検出器を頑健化させることはできず、ロジット統計を adversarial examples を検出する目的で信頼しては使えないことが示唆される。