[論文レビュー] Bypassing Feature Squeezing by Increasing Adversary Strength

Yash Sharma, Pin‐Yu Chen|arXiv (Cornell University)|Mar 27, 2018

Adversarial Robustness in Machine Learning参考文献 12被引用数 31

ひとこと要約

この論文は、特徴圧縮——複数の入力変換を組み合わせて adversarial な例を検出する防御機構——が、C&W 攻撃および EAD 攻撃におけるより高い信頼度マージン（$\kappa$）と、I-FGSM におけるより大きな $L_\infty$ パーティクル（$\epsilon$）によって強化された攻撃者によって回避可能であることを示している。MNIST および CIFAR-10 において、最小限の視覚的歪みを伴う adversarial な例が、結合検出フレームワークに対してほぼ 100％ の攻撃成功率を達成しており、防御策が有効であるためには、より強い adversarial な設定に対して検証される必要があることが示された。

ABSTRACT

Feature Squeezing is a recently proposed defense method which reduces the search space available to an adversary by coalescing samples that correspond to many different feature vectors in the original space into a single sample. It has been shown that feature squeezing defenses can be combined in a joint detection framework to achieve high detection rates against state-of-the-art attacks. However, we demonstrate on the MNIST and CIFAR-10 datasets that by increasing the adversary strength of said state-of-the-art attacks, one can bypass the detection framework with adversarial examples of minimal visual distortion. These results suggest for proposed defenses to validate against stronger attack configurations.

研究の動機と目的

• 特徴圧縮防御がより強い adversarial 攻撃に対してどれほど頑健であるかを評価すること。
• C&W および EAD 攻撃における信頼度マージン（$\\kappa$）を増加させることで、結合検出フレームワークを回避できるかどうかを調査すること。
• I-FGSM 攻撃におけるより大きな $L_\\infty$ パーティクル（$\\epsilon$）が特徴圧縮防御に対してどれほど効果的であるかを評価すること。
• より強い攻撃設定下でも、視覚的歪みが最小限の adversarial な例が検出を回避できるかどうかを検討すること。
• 視覚的類似性を保ちながら攻撃者の強度を最大限に高めた状態で防御策を検証するよう提言すること。

提案手法

• 研究では、EAD 攻撃——C&W の $L_2$ 攻撃の一般化で、エラスティック・ネット正則化を用いたもの——を用い、$L_1$ および $L_2$ の歪みを最小化する。
• 信頼度パラメータ $\\kappa$ を体系的に増加させ、ターゲットクラスと非ターゲットクラスの確率の間のマージンを高める。
• $L_\infty$ 攻撃では、I-FGSM 法を用い、パラメータ $\\epsilon$ を増加させて歪みの大きさを制御する。
• 結合検出フレームワークは、複数の特徴圧縮器——色のビット深度の低下とスムージング（局所的および非局所的）——を組み合わせ、元の入力と圧縮された入力の予測値の差を $L_1$ ノルムで比較する。
• 検出のしきい値は、Xu 他（2017）で定義されたように、元のモデル出力と圧縮されたモデル出力の $L_1$ 距離に基づいて設定される。
• MNIST および CIFAR-10 の事前学習済みモデルを用い、100 枚のテスト画像を対象に、非ターゲットおよびターゲット攻撃（Next クラスおよび Least-Likely クラスをターゲットに）を実施した。

実験結果

リサーチクエスチョン

• RQ1 C&W および EAD 攻撃における信頼度マージン（$\\kappa$）を増加させることで、結合特徴圧縮検出フレームワークを回避できるか？
• RQ2 I-FGSM 攻撃における $L_\\infty$ パーティクル（$\\epsilon$）を増加させることで、視覚的歪みが最小限の adversarial な例が検出を回避できるか？
• RQ3 より強い攻撃強度で生成された adversarial な例は、依然として視覚的に認識不能であり、検出を回避できるか？
• RQ4 より強い攻撃設定下で失敗する場合、特徴圧縮防御は頑健と見なせるか？
• RQ5 視覚的類似性を保ちながら最大の攻撃強度で作成された adversarial な例では、結合検出フレームワークがどの程度崩壊するか？

主な発見

• MNIST では、EAD 攻撃で $\kappa$ を 40 に増加させたところ、$L_\infty$ 歪み 0.997 の条件下で 100％ の攻撃成功率（ASR）を達成し、視覚的歪みは最小限であった。
• CIFAR-10 では、EAD 攻撃で $\kappa$ を 70 に増加させたところ、$L_\infty$ 歪み 0.502 の条件下で 100％ の ASR を達成し、低視覚的変化で効果的な回避が可能であった。
• I-FGSM 攻撃では、MNIST で $\epsilon$ を 0.3、CIFAR-10 で $\epsilon$ を 0.008 に増加させたところ、100％ の ASR を達成したが、視覚的歪みが最小限に保たれたのは CIFAR-10 のみであった。
• EAD 攻撃は、$\kappa$ の低い値でも C&W $L_2$ 攻撃を上回り、特に $L_1$ および $L_2$ 歪みを最小化する点で、検出に対してより高い頑健性を示した。
• ターゲット攻撃設定では、MNIST で EAD 攻撃の $\kappa$ を 40 に増加させたところ、$L_\infty$ 歪み 0.939 の条件下で 100％ の ASR を達成し、強力な攻撃下でも回避能力が確認された。
• 結果として、視覚的に元の入力と類似した adversarial な例であっても、より強い攻撃者に対して特徴圧縮防御は脆弱であることが示された。