[論文レビュー] GenAttack: Practical Black-box Attacks with Gradient-Free Optimization

Moustafa Alzantot, Yash Sharma+4 more|arXiv (Cornell University)|May 28, 2018

Adversarial Robustness in Machine Learning参考文献 33被引用数 25

ひとこと要約

GenAttackは、勾配計算に依存しないブラックボックス攻撃を実現する遺伝的アルゴリズムを用いて、深層ニューラルネットワークに対して人間が認識できないほどの摂動を生成する、クエリの複雑さが著しく低減された勾配フリーの攻撃を提案する。MNISTではZOOと比較して2,126倍、CIFAR-10では2,568倍、ImageNetでは237倍もクエリ数を削減し、最先端のクエリ効率を達成している。また、アンサンブル adversarial training や微分不能な入力変換といった高度な防御を効果的に回避している。

ABSTRACT

Deep neural networks are vulnerable to adversarial examples, even in the black-box setting, where the attacker is restricted solely to query access. Existing black-box approaches to generating adversarial examples typically require a significant number of queries, either for training a substitute network or performing gradient estimation. We introduce GenAttack, a gradient-free optimization technique that uses genetic algorithms for synthesizing adversarial examples in the black-box setting. Our experiments on different datasets (MNIST, CIFAR-10, and ImageNet) show that GenAttack can successfully generate visually imperceptible adversarial examples against state-of-the-art image recognition models with orders of magnitude fewer queries than previous approaches. Against MNIST and CIFAR-10 models, GenAttack required roughly 2,126 and 2,568 times fewer queries respectively, than ZOO, the prior state-of-the-art black-box attack. In order to scale up the attack to large-scale high-dimensional ImageNet models, we perform a series of optimizations that further improve the query efficiency of our attack leading to 237 times fewer queries against the Inception-v3 model than ZOO. Furthermore, we show that GenAttack can successfully attack some state-of-the-art ImageNet defenses, including ensemble adversarial training and non-differentiable or randomized input transformations. Our results suggest that evolutionary algorithms open up a promising area of research into effective black-box attacks.

研究の動機と目的

• モデルへのクエリアクセスのみが可能な状況で、勾配計算に依存しない実用的なブラックボックス攻撃を開発すること。
• MNISTで学習されたような大規模・高次元なモデルに対して、敵対的サンプルを生成する際のクエリ効率を向上させること。
• 微分不能またはランダム化された入力変換といった勾配の遮断防御が存在する状況において、勾配ベースの攻撃の限界を克服すること。
• 実世界のブラックボックス環境において、高い成功率でターゲット攻撃を生成できる、集団ベースの進化的最適化の有効性を示すこと。

提案手法

• GenAttackは、摂動の集団を進化させることで勾配フリーの最適化を実行し、誤分類を最大化すると同時に人間の知覚に与える影響を最小化する。
• ターゲットクラスに対するモデルの信頼度スコアに基づくフィットネス関数を用い、成功する敵対的サンプルへの進化を導く。
• 適応的突然変異率を適用し、初期段階では探索を重視する高い突然変異率を設定し、収束に近づくにつれて徐々に低下させ、収束に近づくと搾取を重視する。
• 高次元データセット（例：ImageNet）におけるスケーラビリティとクエリ効率を向上させるために、次元削減技術を用いる。
• ランダム化防御に一般化するため、フィットネス関数をランダム変換の期待値として計算することで、確率的変化に対して耐性を持つようにする。
• 探索とクエリコストのバランスを取るために、集団サイズを慎重に調整しており、小さな集団サイズ（例：6）がクエリ効率を最適化することが示されている。

実験結果

リサーチクエスチョン

• RQ1 遺伝的アルゴリズムに基づく勾配フリー最適化が、既存のブラックボックス攻撃と比較して顕著に高いクエリ効率を達成できるか？
• RQ2 このようなアプローチが、MNISTで学習されたような大規模・高次元なモデルに効果的にスケーリングできるか？
• RQ3 遺伝的アルゴリズムに基づく攻撃が、勾配の遮断や入力のランダム化に依存する最先端の防御を効果的に回避できるか？
• RQ4 適応的突然変異率と次元削減が、攻撃のクエリ効率と収束速度に与える影響は何か？

主な発見

• GenAttackは、MNISTモデルを攻撃する際、ZOOと比較して約2,126倍のクエリ削減を達成した。
• CIFAR-10では、ZOOと比較して2,568倍もクエリ数を削減し、より複雑なデータセットでも優れた効率性を示した。
• ImageNetのInception-v3モデルに対しては、ZOOと比較して237倍もクエリ数を削減し、大規模モデルへのスケーラビリティを実証した。
• GenAttackは、ImageNetにおけるアンサンブル adversarial training 防御に対しても成功し、クエリ数のわずかな増加で高い成功率を達成した。
• ビット深度の低下やJPEG圧縮といった微分不能な入力変換に対しても、ZOOが完全に失敗する中で攻撃に成功した。
• ランダム化防御に対しては、フィットネス関数をランダム変換の期待値として一般化することで耐性を確保し、一貫した成功を示した。