[論文レビュー] Attacking the Madry Defense Model with $L_1$-based Adversarial Examples

Yash Sharma, Pin‐Yu Chen|arXiv (Cornell University)|Oct 30, 2017

Adversarial Robustness in Machine Learning参考文献 9被引用数 75

ひとこと要約

この論文は、L1ベースの弾性-net敵対的例（EAD）がMadry Defense Modelへ転移し、ターゲット転送でL2/L∞-ベースのPGD/I-FGMより優れることが多く、同等のL∞-ベース攻撃より視覚的歪みが小さくなることがある、ということを示している。

ABSTRACT

The Madry Lab recently hosted a competition designed to test the robustness of their adversarially trained MNIST model. Attacks were constrained to perturb each pixel of the input image by a scaled maximal $L_\infty$ distortion $ε$ = 0.3. This discourages the use of attacks which are not optimized on the $L_\infty$ distortion metric. Our experimental results demonstrate that by relaxing the $L_\infty$ constraint of the competition, the elastic-net attack to deep neural networks (EAD) can generate transferable adversarial examples which, despite their high average $L_\infty$ distortion, have minimal visual distortion. These results call into question the use of $L_\infty$ as a sole measure for visual distortion, and further demonstrate the power of EAD at generating robust adversarial examples.

研究の動機と目的

• Madry MNISTチャレンジで用いられたL∞制約を超えた敵対的攻撃の転移性を評価する。
• 緩和された歪み予算の下で、L1+L2正則化を用いるEAD（L1/L2正則化）とL∞ベースのPGDおよびI-FGMを比較する。
• 未 defendedモデルおよびアンサンブルからのターゲット型・非ターゲット型転移性を評価する。
• 転移した敵対的例における視覚歪みと歪み指標（L1、L2、L∞）の関係を分析する。

提案手法

• MNIST上でPGD ε = 0.3で訓練されたMadry Defense Modelを使用する。
• EAD（弾性網：L1 + L2）で敵対的例を生成し、βを調整してL1/L2の強調を変える。
• さまざまなεおよびκ設定の下でPGDおよびI-FGMと比較する。
• undefendedモデルおよび3モデルアンサンブルからのターゲット型・非ターゲット型転移性を評価する。
• L1/L2/L∞ノルムを用いた視覚歪みを分析し、定性的なビジュアルを提供する。

実験結果

リサーチクエスチョン

• RQ1 L1ベースのEAD敵対的例は、L∞ベースのPGD/I-FGMと同等またはそれ以上にMadry Defense Modelへ転移するか。
• RQ2 L1およびL2の歪みは、L∞制約と比較して転移性および視覚歪みにどのように影響するか。
• RQ3 undefendedモデルのアンサンブルを使用すると、EAD攻撃の転移性は高まるか。
• RQ4 ターゲット型と非ターゲット型の攻撃における成功率と歪みタイプ（L1/L2/L∞）のトレードオフは何か。

主な発見

• EADはκ設定の全てでC&Wを上回り、ターゲット型・非ターゲット型の両方で優れている。
• ターゲット型攻撃では、最適なκ（例：50）で、EADはPGD/I-FGMよりL1/L2歪みを低く抑えつつ転移性を高める。
• β=0.01のEADは、特に低κでL1歪みを最小化しつつ最も高いASRをもたらすことが多い。
• PGD/I-FGMは高いASRを達成できるが、L1/L2歪みが大きく視覚的歪みが perceptibleになる。
• 視覚的比較では、PGDと同程度の平均L∞歪みでもEADは視覚品質を保持できることが示される。
• 結果は、単独のL∞だけでは視覚歪みと敵対的サブスペースを十分に特徴づけられないことを示唆する。