[論文レビュー] Query-Efficient Black-box Adversarial Examples

Andrew Ilyas, Logan Engstrom+2 more|arXiv (Cornell University)|Dec 19, 2017

Adversarial Robustness in Machine Learning被引用数 25

ひとこと要約

本稿では、自然的進化戦略を用いたクエリ効率の良いブラックボックス敵対的攻撃手法と、部分情報設定下における標的攻撃のための新規アルゴリズムを提案する。クエリ使用量を2〜3桁削減し、実用的制約下でGoogle Cloud Vision APIに対する最初の成功した標的攻撃を達成した。

ABSTRACT

Current neural network-based image classifiers are susceptible to adversarial examples, even in the black-box setting, where the attacker is limited to query access without access to gradients. Previous methods --- substitute networks and coordinate-based finite-difference methods --- are either unreliable or query-inefficient, making these methods impractical for certain problems. We introduce a new method for reliably generating adversarial examples under more restricted, practical black-box threat models. First, we apply natural evolution strategies to perform black-box attacks using two to three orders of magnitude fewer queries than previous methods. Second, we introduce a new algorithm to perform targeted adversarial attacks in the partial-information setting, where the attacker only has access to a limited number of target classes. Using these techniques, we successfully perform the first targeted adversarial attack against a commercially deployed machine learning system, the Google Cloud Vision API, in the partial information setting.

研究の動機と目的

• 高いクエリコストや信頼性の低さによる、従来のブラックボックス敵対的攻撃手法の現実的でない点を是正する。
• 制限されたクエリアクセスと限られたターゲットクラス情報の下で、強固なブラックボックス攻撃戦略を開発する。
• ターゲットクラスの一部しか観測できない部分情報設定下での標的敵対的攻撃を可能にする。
• 先行手法と比較して著しくクエリ要件を削減することで、実用的応用を達成する。
• 商用で展開された機械学習システム（Google Cloud Vision API）に対する攻撃に成功することで、現実世界での実現可能性を示す。

提案手法

• 勾配情報が不要なため、入力空間の効率的探索が可能な自然的進化戦略（NES）を用いて、敵対的摂動を最適化する。
• サブスティチュートネットワークや有限差分法と比較して、はるかに少ないクエリでブラックボックス攻撃を実現する。
• 利用可能なターゲットクラスの数が限られている状況に特化した新規アルゴリズムを設計する。
• 部分情報設定を活用して、ターゲットクラスに向けた探索を誘導しながら、クエリのオーバーヘッドを最小限に抑える。
• 適応的サンプリングと信頼度ベース選択を組み合わせることで、低情報環境下での収束性と成功確率を向上させる。
• ターゲットモデルからのクエリフィードバックを繰り返し活用して、摂動生成を段階的に最適化する。

実験結果

リサーチクエスチョン

• RQ1 自然的進化戦略は、ブラックボックス敵対的攻撃におけるクエリ複雑度を効果的に低減するために適応可能か？
• RQ2 モデルの出力クラスの一部しかアクセスできない状況で、どのように標的敵対的攻撃を実行できるか？
• RQ3 実用的ブラックボックス脅威モデル下で、信頼性高く標的敵対的例を生成するために必要な最小クエリ数は何か？
• RQ4 クエリ効率の良い手法が、実世界で商用展開された機械学習システム（Google Cloud Vision API）を実際に攻撃できるか？
• RQ5 提案手法は、既存のサブスティチュートネットワークおよび座標ベースの有限差分法と比較して、クエリ効率と成功確率で優れているか？

主な発見

• 提案手法は、先行するブラックボックス攻撃手法と比較して、クエリ使用量を2〜3桁削減した。
• 本手法は、ターゲットクラスの一部しか観測できない部分情報設定下でも、標的敵対的攻撃を成功させた。
• 本手法は、現実的なブラックボックス制約下で、Google Cloud Vision APIに対する最初の既知の標的攻撃を達成した。
• 自然的進化戦略の使用により、勾配情報がなくても、信頼性があり効率的な敵対的摂動の最適化が可能になった。
• 限られたフィードバック下でも高い成功確率を維持でき、低情報環境下での強健性を示した。
• クエリ効率と信頼性の両面で、サブスティチュートネットワークおよび有限差分法を上回った。