[論文レビュー] DeepSearch: A Simple and Effective Blackbox Attack for Deep Neural Networks

Fuyuan Zhang, Sankalan Pal Chowdhury+1 more|arXiv (Cornell University)|Oct 14, 2019

Adversarial Robustness in Machine Learning参考文献 86被引用数 4

ひとこと要約

DeepSearch は、フィードバック駆動型のファズィングと反復的リファインメントを用いて、低 $L_{\infty}$ 変形で洗練された adversarial example を生成する、クエリ効率が高くブラックボックスな adversarial 攻撃である。SVHN、CIFAR-10、ImageNet において、敵対的訓練で防御されたモデルに対しても、最新のブラックボックス攻撃を上回る成功確率とクエリ効率を示した。

ABSTRACT

Although deep neural networks have been very successful in image-classification tasks, they are prone to adversarial attacks. To generate adversarial inputs, there has emerged a wide variety of techniques, such as black- and whitebox attacks for neural networks. In this paper, we present DeepSearch, a novel fuzzing-based, query-efficient, blackbox attack for image classifiers. Despite its simplicity, DeepSearch is shown to be more effective in finding adversarial inputs than state-of-the-art blackbox approaches. DeepSearch is additionally able to generate the most subtle adversarial inputs in comparison to these approaches.

研究の動機と目的

• 限られたクエリ予算の下で、深層ニューラルネットワークのクエリ効率の高いブラックボックス攻撃を開発すること。
• ネットワークの予測スコアからのフィードバックでファズィングをガイドすることで、攻撃の成功確率を向上させること。
• 反復的リファインメントプロセスにより、adversarial example の歪みを低減すること。
• ブラックボックス環境におけるクエリ数を最小限に抑えるために、階層的グルーピングを適応すること。
• 標準モデルおよび敵対的訓練で強化されたモデルに対する有効性を評価すること。

提案手法

• DeepSearch は、正しく分類された画像から出発し、決定境界に近づくためにフィードバック駆動型のピクセル変更を適用する。
• モデル出力スコアに基づいて、誤分類を引き起こす可能性の高い摂動を優先するフィードバックメカニズムを用いる。
• 複数の画像次元を同時にファズィングするために階層的グルーピングを採用し、クエリ数を著しく削減する。
• adversarial example を発見した後、$L_{\infty}$ 歪みを最小限に抑えつつ誤分類を維持するため、反復的リファインメントを適用する。
• この手法は $L_{\infty}$-有界摂動に制限されており、予測スコアの取得のみをモデルにクエリする。
• モデルのアーキテクチャやパラメータにアクセスできないブラックボックス設定を想定している。

実験結果

リサーチクエスチョン

• RQ1 シンプルなファズィングベースのアプローチが、既存の最先端ブラックボックス攻撃を、クエリ効率と成功確率の両面で上回ることができるか？
• RQ2 フィードバック駆動型の変更は、最小限のクエリ数で adversarial example に至るための探索をどれほど効果的にガイドできるか？
• RQ3 反復的リファインメントは、adversarial example の歪みをどの程度低減できるか？
• RQ4 階層的グルーピングは、ブラックボックス攻撃における必要なクエリ数を顕著に削減できるか？
• RQ5 敵対的訓練で強化されたモデルに対し、DeepSearch はどの程度効果を示すか？

主な発見

• SVHN、CIFAR-10、ImageNet において、クエリ制限環境下で、評価されたすべてのブラックボックス攻撃の中で DeepSearch が最高の攻撃成功確率を達成した。
• 最先端の手法よりも顕著に低い $L_{\infty}$ 歪みを持つ adversarial example を生成しており、より高いスパイシー性（不顕著さ）を示している。
• 反復的リファインメントステップにより、摂動の大きさが小さくなりつつも誤分類が維持され、より洗練された攻撃が可能になった。
• 階層的グルーピングによりクエリ数が著しく削減され、勾配推定法や他のクエリベース手法よりも効率的であることが示された。
• 敵対的訓練で防御されたモデルに対しても DeepSearch は効果的に攻撃でき、一般的な防御に対して堅牢であることを示した。
• クエリ予算が極めて制限された状況でも、Ilyas et al. (2018)、Guo et al. (2019)、Moon et al. (2019) などの手法を上回る効果を示した。