[論文レビュー] Attacking the Madry Defense Model with $L_1$-based Adversarial Examples

Yash Sharma, Pin‐Yu Chen|arXiv (Cornell University)|Oct 30, 2017

Adversarial Robustness in Machine Learning参考文献 9被引用数 75

ひとこと要約

この論文は、L1ベースの弾性-net敵対的例（EAD）がMadry Defense Modelへ転移し、ターゲット転送でL2/L∞-ベースのPGD/I-FGMより優れることが多く、同等のL∞-ベース攻撃より視覚的歪みが小さくなることがある、ということを示している。

ABSTRACT

The Madry Lab recently hosted a competition designed to test the robustness of their adversarially trained MNIST model. Attacks were constrained to perturb each pixel of the input image by a scaled maximal $L_\infty$ distortion $ε$ = 0.3. This discourages the use of attacks which are not optimized on the $L_\infty$ distortion metric. Our experimental results demonstrate that by relaxing the $L_\infty$ constraint of the competition, the elastic-net attack to deep neural networks (EAD) can generate transferable adversarial examples which, despite their high average $L_\infty$ distortion, have minimal visual distortion. These results call into question the use of $L_\infty$ as a sole measure for visual distortion, and further demonstrate the power of EAD at generating robust adversarial examples.

研究の動機と目的

• Madry MNISTチャレンジで用いられたL∞制約を超えた敵対的攻撃の転移性を評価する。
• 緩和された歪み予算の下で、L1+L2正則化を用いるEAD（L1/L2正則化）とL∞ベースのPGDおよびI-FGMを比較する。
• 未 defendedモデルおよびアンサンブルからのターゲット型・非ターゲット型転移性を評価する。
• 転移した敵対的例における視覚歪みと歪み指標（L1、L2、L∞）の関係を分析する。

提案手法

• MNIST上でPGD ε = 0.3で訓練されたMadry Defense Modelを使用する。
• EAD（弾性網：L1 + L2）で敵対的例を生成し、βを調整してL1/L2の強調を変える。
• さまざまなεおよびκ設定の下でPGDおよびI-FGMと比較する。
• undefendedモデルおよび3モデルアンサンブルからのターゲット型・非ターゲット型転移性を評価する。
• L1/L2/L∞ノルムを用いた視覚歪みを分析し、定性的なビジュアルを提供する。

実験結果

リサーチクエスチョン

• RQ1 L1ベースのEAD敵対的例は、L∞ベースのPGD/I-FGMと同等またはそれ以上にMadry Defense Modelへ転移するか。
• RQ2 L1およびL2の歪みは、L∞制約と比較して転移性および視覚歪みにどのように影響するか。
• RQ3 undefendedモデルのアンサンブルを使用すると、EAD攻撃の転移性は高まるか。
• RQ4 ターゲット型と非ターゲット型の攻撃における成功率と歪みタイプ（L1/L2/L∞）のトレードオフは何か。

主な発見

攻撃手法	信頼度	ASR（ターゲット付き％）	L1（ターゲット付き）	L2（ターゲット付き）	L∞（ターゲット付き）	ASR（非ターゲット付き％）	L1（非ターゲット付き）	L2（非ターゲット付き）	L∞（非ターゲット付き）
PGD	None	68.5	188.3	8.947	0.6	99.9	270.5	13.27	0.8
I-FGM	None	75.1	144.5	7.406	0.915	99.8	199.4	10.66	0.9
C&W	10	1.1	34.15	2.482	0.548	4.9	23.23	1.702	0.424
C&W	30	69.4	68.14	4.864	0.871	71.3	51.04	3.698	0.756
C&W	50	92.9	117.45	8.041	0.987	99.1	78.65	5.598	0.937
C&W	70	34.8	169.7	10.88	0.994	99	119.4	8.097	0.99
EAD	10	27.4	25.79	3.209	0.876	39.9	19.19	2.636	0.8
EAD	30	85.8	49.64	5.179	0.995	94.5	34.28	4.192	0.971
EAD	50	98.5	93.46	7.711	1	99.6	57.68	5.839	0.999
EAD	70	67.2	148.9	10.36	1	99.8	90.84	7.719	1

• EADはκ設定の全てでC&Wを上回り、ターゲット型・非ターゲット型の両方で優れている。
• ターゲット型攻撃では、最適なκ（例：50）で、EADはPGD/I-FGMよりL1/L2歪みを低く抑えつつ転移性を高める。
• β=0.01のEADは、特に低κでL1歪みを最小化しつつ最も高いASRをもたらすことが多い。
• PGD/I-FGMは高いASRを達成できるが、L1/L2歪みが大きく視覚的歪みが perceptibleになる。
• 視覚的比較では、PGDと同程度の平均L∞歪みでもEADは視覚品質を保持できることが示される。
• 結果は、単独のL∞だけでは視覚歪みと敵対的サブスペースを十分に特徴づけられないことを示唆する。