[論文レビュー] EAD: Elastic-Net Attacks to Deep Neural Networks via Adversarial Examples

Pin‐Yu Chen, Yash Sharma+3 more|arXiv (Cornell University)|Sep 13, 2017

Adversarial Robustness in Machine Learning参考文献 29被引用数 65

ひとこと要約

本論文は敵対的例の作成をエラスティックネット正則化最適化として定式化し、L1志向の摂動（EAD）を生み出す。これらはL2/Linf攻撃と同等の効果を発揮し、転送性と敵対的訓練との適合性を改善する。

ABSTRACT

Recent studies have highlighted the vulnerability of deep neural networks (DNNs) to adversarial examples - a visually indistinguishable adversarial image can easily be crafted to cause a well-trained model to misclassify. Existing methods for crafting adversarial examples are based on $L_2$ and $L_\infty$ distortion metrics. However, despite the fact that $L_1$ distortion accounts for the total variation and encourages sparsity in the perturbation, little has been developed for crafting $L_1$-based adversarial examples. In this paper, we formulate the process of attacking DNNs via adversarial examples as an elastic-net regularized optimization problem. Our elastic-net attacks to DNNs (EAD) feature $L_1$-oriented adversarial examples and include the state-of-the-art $L_2$ attack as a special case. Experimental results on MNIST, CIFAR10 and ImageNet show that EAD can yield a distinct set of adversarial examples with small $L_1$ distortion and attains similar attack performance to the state-of-the-art methods in different attack scenarios. More importantly, EAD leads to improved attack transferability and complements adversarial training for DNNs, suggesting novel insights on leveraging $L_1$ distortion in adversarial machine learning and security implications of DNNs.

研究の動機と目的

• DNNの頑健性のギャップを理解するために、L1ベースの敵対的摂動の探索を促す。
• L1とL2の罰項を組み合わせて、視覚的には類似だが疎な摂動を生成する新しい攻撃（EAD）を提案する。
• EADが成功率で最先端のL2攻撃に匹敵しつつ、異なる摂動特性を提供することを示す。
• L1志向の攻撃を使用した場合、敵対的訓練との転送性の向上と補完的効果を示す。

提案手法

• 標的敵対的攻撃をエラスティックネット正則化最適化として定式化する：minimize c·f(x,t) + β·||x−x0||1 + ||x−x0||2^2, subject to x∈[0,1]^p.
• L1項による摂動のスパース性とL2項による安定性を促進するために、エラスティックネット損失を使用する。
• ロジットに基づくC&W損失 f(x,t) を採用し、信頼度パラメータ κ でターゲットラベル t を推進する。
• 連続微分不能な問題を反復的縮小閾値法（ISTA）とその高速変種（FISTA）で解く。
• L1ペナルティをボックス制約下で扱うための特殊な縮小閾値演算子 Sβ を導入する。
• 最終的な敵対的例の選択において、EN-ルール（エラスティックネット目的関数）とL1-ルール（最小L1歪み）を比較する。

実験結果

リサーチクエスチョン

• RQ1 EN-Regularizationは、L2/L∞攻撃と同程度の効果を持つ小さなL1歪みの敵対的例を生み出せるか？
• RQ2 L1ペナルティを組み込むことで、攻撃の転送性や防御（防御蒸留や敵対訓練）に対する頑健性はどう変わるか？
• RQ3 EADを使用した場合のL1歪みとL2/L∞歪みのトレードオフ、および意思決定ルールがこれにどう影響するか？
• RQ4 EADは従来のL2ベース手法と比較して、防御的蒸留モデルへの攻撃転送性を改善するか？

主な発見

• EADは、MNIST、CIFAR10、 ImageNetの平均ケースで、さまざまな設定の下で攻撃成功率を100%達成する。
• EADはL1を用いたI-FGMよりもはるかに低いL1歪みで敵対的例を生成できる（MNIST、CIFAR10、ImageNetで約47%–87%の削減）。
• EADは防御的蒸留ネットワークへの転送性を高め、適切な転送性パラメータκを用いるとMNISTでほぼ99%のASRに近づく。C&W攻撃よりも一部設定で優れている。
• L1ペナルティ（β>0）を含めると、攻撃は異なる敵対的例を生み出し、C&W攻撃と組み合わせた場合の頑健性を向上させる補完的効果が得られる。
• L1-ルールはL1歪みをさらに低減させる可能性があるが、L2およびLinf歪みを増加させる場合がありつつも、100% ASRを維持する。