[論文レビュー] Adversarial Examples Are Not Easily Detected: Bypassing Ten Detection Methods

Nicholas Carlini, David Wagner|arXiv (Cornell University)|May 20, 2017

Adversarial Robustness in Machine Learning被引用数 330

ひとこと要約

本論文は10個の敵対的例検出手法を調査し、それぞれが特化した攻撃で破られ得ることを示し、敵対的例は容易には検出できないと主張し、評価指針を概説する。

ABSTRACT

Neural networks are known to be vulnerable to adversarial examples: inputs that are close to natural inputs but classified incorrectly. In order to better understand the space of adversarial examples, we survey ten recent proposals that are designed for detection and compare their efficacy. We show that all can be defeated by constructing new loss functions. We conclude that adversarial examples are significantly harder to detect than previously appreciated, and the properties believed to be intrinsic to adversarial examples are in fact not. Finally, we propose several simple guidelines for evaluating future proposed defenses.

研究の動機と目的

• 複数の脅威モデルに跨る10件の最近の敵対的例検出手法の有効性を評価する。
• 検出された敵対的例が適応的、ホワイトボックス、転送性攻撃に対して頑健であるかを判断する。
• 敵対的画像と自然画像の purported intrinsic differences が強い評価下で成り立つかを理解する。
• 将来の防御を評価するための実践的な推奨事項を提供する。

提案手法

• 7論文から10個の検出方式を再現・再実装する。
• Carlini and Wagner の L2 targeted attack を用いて敵対的例を生成する。
• 各検出器を回避するための適応的・ホワイトボックス攻撃者損失を開発する。
• ブラックボックス（知識が限られている）攻撃を評価するために転送性を活用する。
• 分類器と検 detectors を統合して防御を迂回する統一的な攻撃フレームワークを定義する。
• ゼロ知識・完全知識・限られた知識の脅威モデル下で防御を評価する。

実験結果

リサーチクエスチョン

• RQ1 既存の敵対的検出手法は強力な適応攻撃の下で敵対的な画像と自然画像を信頼性高く識別できるか。
• RQ2 防御を完全に知っている攻撃者（ホワイトボックス）か、単にブラックボックスアクセスしかない場合に検出器は頑健か。
• RQ3 転送性は限られた知識のシナリオで検出器の回避を可能にするか。
• RQ4 MNIST での検出結果は CIFAR-10 のようなより複雑なデータセットにも一般化するか。

主な発見

• 10 個の検出手法はすべて、特定の防御に合わせて調整された攻撃によって破られ得る。
• 単純なデータセットでは歪みの増加はわずか、CIFAR-10 では敵対的例は自然画像と区別不能のまま。
• ゼロ知識や単純な攻撃の下では一部の防御は良好に機能するが、完全知識の敵対者の下で破綻する。
• 適応的な攻撃は検出器の見かけ上の頑健性を大きく削減または排除し、場合によっては歪みをわずか約10%増やすのみでも検出可能な入力を生み出せない。
• 防御の「誤検出を避ける」手法や層別統計・PCAベースの統計に依存する手法はホワイトボックス回避に対して真に頑健ではない。
• 本研究は MNIST ベースの結果に依存することへの警告を示し、標準化された評価手法を求める。