[論文レビュー] Feature Squeezing Mitigates and Detects Carlini/Wagner Adversarial Examples

Weilin Xu, David Evans+1 more|arXiv (Cornell University)|May 30, 2017

Adversarial Robustness in Machine Learning参考文献 6被引用数 41

ひとこと要約

この論文は、2×2メディアンスムージングを用いた単純な特徴圧縮が、MNISTおよびCIFAR-10における最先端のCarlini/Wagner adversarial攻撃に対して深層学習モデルの耐性を顕著に向上させることを示している。標的攻撃の成功率はほぼ100％から6％未塔に低下し、オリジナル入力と圧縮入力の予測値の差にL1ベースのスコアを用いることで、MNISTでは98.80％、CIFAR-10では87.50％の精度で adversarial例を検出可能である。

ABSTRACT

Feature squeezing is a recently-introduced framework for mitigating and detecting adversarial examples. In previous work, we showed that it is effective against several earlier methods for generating adversarial examples. In this short note, we report on recent results showing that simple feature squeezing techniques also make deep learning models significantly more robust against the Carlini/Wagner attacks, which are the best known adversarial methods discovered to date.

研究の動機と目的

• 単純な特徴圧縮が、特にCarlini/WagnerのL2、L∞、L0手法に代表される最新の adversarial攻撃を緩和・検出できるかどうかを評価すること。
• 特徴圧縮を施した深層学習モデルの、標的および非標的 adversarial例に対する耐性を評価すること。
• 再訓練を必要とせず、軽量かつ直交的な防御機構として特徴圧縮が実用可能かどうかを検討すること。
• オリジナル入力と圧縮入力の予測値の差に基づく検出フレームワークの開発および評価すること。

提案手法

• 入力画像に対して事前処理として2×2メディアンスムージングを適用し、reflectパディングと一貫した中央値選択を伴うSciPyの実装を用いる。
• オリジナル入力と圧縮入力のモデル予測値の差のL1ノルムを検出スコアとして計算する：score = |f(x) − f(squeeze(x))|₁。
• L1スコアにしきい値を適用し、スコアが高い入力を adversarial（悪意ある）と分類し、低い入力を正当な入力（legitimate）と分類する。しきい値は訓練セット上で検出精度を最大化するように選択する。
• Carlini/WagnerのL2、L∞、L0攻撃によって生成された adversarial例を用いて、特徴圧縮の有無にかかわらずモデルの精度を測定することで耐性を評価する。
• 計算コストの高さを考慮し、Carliniのコードを用いてデフォルトパラメータでMNISTおよびCIFAR-10用に別々のモデルを訓練し、最初の1,000枚のテスト画像に対して adversarial例を生成する。
• 検出しきい値のチューニングと未学習データでの性能評価のため、データセットを訓練集合と検証集合に分割する。

実験結果

リサーチクエスチョン

• RQ1 特徴圧縮は、深層学習モデルに対する標的攻撃のCarlini/Wagner攻撃の成功率を効果的に低下させることができるか？
• RQ2 特徴圧縮は、MNISTおよびCIFAR-10における正当な入力の精度にどのような影響を与えるか？
• RQ3 オリジナル入力と圧縮入力の予測値のL1差は、adversarial例を信頼性高く検出できるか？
• RQ4 MNISTとCIFAR-10のような、モデルのベースライン精度が異なるデータセット間で、検出性能に差が生じるか？
• RQ5 最小の摂動で特徴を変更するL2、L∞、L0攻撃に対しても、特徴圧縮は効果的か？

主な発見

• 2×2メディアンスムージングを用いた特徴圧縮により、MNISTおよびCIFAR-10の両方で、Carlini/Wagner攻撃の3つのバリエーション（L2、L∞、L0）において、標的攻撃の成功率がほぼ100％から6％未塔に低下した。
• MNISTでは、特徴圧縮を適用することで、非標的攻撃ではadversarial例の精度が0％から90.4％に、標的攻撃では87.9％に向上した。
• CIFAR-10では、特徴圧縮を適用することで、非標的攻撃ではadversarial例の精度が0％から68.2％に、標的攻撃では66.1％に向上した。
• 検出フレームワークは、MNISTで98.80％の精度を達成し、真正陽性率99.33％、偽陽性率1.73％を示した。しきい値は0.1147であった。
• CIFAR-10では検出精度が87.50％に達し、AUCが0.8711に低下したが、これは正当な入力に対するベースライン精度が78.3％と低いために起因すると考えられる。
• 正当な入力の精度は高い水準を維持した—MNISTでは99.4％、CIFAR-10では93.2％—性能の低下は最小限に抑えられた。