[論文レビュー] Taking Care of The Discretization Problem: A Comprehensive Study of the Discretization Problem and A Black-Box Adversarial Attack in Discrete Integer Domain

Lei Bu, Yuchao Duan+2 more|arXiv (Cornell University)|May 19, 2019

Adversarial Robustness in Machine Learning参考文献 100被引用数 4

ひとこと要約

本論文は、既存の攻撃で一般的な離散化問題を回避するため、離散的整数ドメインで直接 adversarial examples を生成する、画期的なブラックボックス攻撃手法を提案する。分類モデルに基づく DFO（勾配フリー最適化）アルゴリズムを用いて攻撃を勾配フリー最適化（DFO）問題として定式化することで、ターゲット攻撃およびノンターゲット攻撃の両方でほぼ100％の成功率を達成し、最先端のブラックボックス手法を上回り、NIPS 2017 防御コンテスト優勝モデルに対しても100％の成功率で破壊した。

ABSTRACT

Numerous methods for crafting adversarial examples were proposed recently with high success rate. Since most existing machine learning based classifiers normalize images into some continuous, real vector, domain firstly, attacks often craft adversarial examples in such domain. However, "adversarial" examples may become benign after denormalizing them back into the discrete integer domain, known as the discretization problem. This problem was mentioned in some work, but has received relatively little attention. In this work, we first conduct a comprehensive study of existing methods and tools for crafting. We theoretically analyze 34 representative methods and empirically study 20 representative open source tools for crafting adversarial images. Our study reveals that the discretization problem is far more serious than originally thought. This suggests that the discretization problem should be taken into account seriously when crafting adversarial examples and measuring attack success rate. As a first step towards addressing this problem in black-box scenario, we propose a black-box method which reduces the adversarial example searching problem to a derivative-free optimization problem. Our method is able to craft adversarial images by derivative-free search in the discrete integer domain. Experimental results show that our method is comparable to recent white-box methods (e.g., FGSM, BIM and C\&W) and achieves significantly higher success rate in terms of adversarial examples in the discrete integer domain than recent black-box methods (e.g., ZOO, NES-PGD and Bandits). Moreover, our method is able to handle models that is non-differentiable and successfully break the winner of NIPS 2017 competition on defense with 95\% success rate. Our results suggest that discrete optimization algorithms open up a promising area of research into effective black-box attacks.

研究の動機と目的

• 既存の adversarial attack 手法およびツールにおける離散化問題の影響を体系的・系統的に調査すること。
• 離散化問題が実際の展開環境において攻撃成功率を著しく低下させることを示すこと。
• 離散的整数ドメインで直接動作するブラックボックス攻撃手法を開発し、離散化問題を回避すること。
• 微分可能でない、または未知のモデルに対しても有効であり、ホワイトボックス手法と同等の高い攻撃成功率を達成すること。
• 強力な防御モデル、特に NIPS 2017 防御コンテスト優勝モデルに対する本手法の有効性を検証すること。

提案手法

• 攻撃を勾配フリー最適化（DFO）問題として定式化し、勾配に依存しない。
• 離散的整数空間における探索を導くために、分類モデルに基づく DFO アルゴリズムを提案。
• 正規化を経由して連続ドメインに変換するのではなく、元の画像ドメイン（例：0–255 の整数ピクセル値）で直接 adversarial examples を生成。
• クエリ応答（分類確率）から学習し、勾配情報が不要な状態で反復的に adversarial examples を改善。
• 勾配ベース手法が失敗する微分不可能な、またはブラックボックスモデルに対しても有効であるように設計。
• 本手法は DFA（Discrete-integer domain attack）と呼ばれるツールとして実装され、ターゲット攻撃およびノンターゲット攻撃を両方サポート。

実験結果

リサーチクエスチョン

• RQ1 離散化問題は実際の状況において、既存の adversarial attack 手法の成功率をどの程度低下させるか？
• RQ2 離散的整数ドメインで直接攻撃を効果的に定式化・実行することは可能か？
• RQ3 分類モデルに基づく勾配フリー最適化アプローチは、勾配ベースまたは他のブラックボックス手法と比較して、攻撃成功率およびクエリ効率の面でどの程度優れているか？
• RQ4 このような手法は、主要なコンテストで優勝した最先端の防御モデルを効果的に破壊できるか？
• RQ5 離散ドメインで動作する場合、攻撃成功率、目立たなさ、クエリ効率の間のトレードオフはどのようなものか？

主な発見

• 理論的攻撃手法の35件中29件、オープンソースツールの20件中14件が離散化問題の影響を強く受け、成功率が100％から最低10％まで低下した。
• 提案手法の DFA は、ImageNet および MNIST でターゲット攻撃およびノンターゲット攻撃の両方で100％の成功率を達成し、FGSM や BIM、C&W といったホワイトボックス手法と同等の性能を示した。
• DFA は、評価されたすべてのブラックボックス手法（ZOO、AutoZOOM、NES-PGD、Bandits、FD、FD-PSO、GenAttack）を、成功率およびクエリ効率の両面で上回った。
• HGD 防御モデル（NIPS 2017 防御コンテスト優勝モデル）に対しても、100％のターゲット攻撃成功率を達成し、破壊に成功した。
• MNIST Adversarial Examples Challenge では、DFA が10.5％のターゲット攻撃成功率を達成し、公に報告された最高のホワイトボックス攻撃と同等の性能を示した。
• 本手法は高い目立たなさを維持しており、特に Inception-v3 において他の最先端手法と同等またはそれ以上の MSE 値を達成した。