[論文レビュー] Hybrid Batch Attacks: Finding Black-box Adversarial Examples with Limited Queries

Fnu Suya, Jianfeng Chi+2 more|arXiv (Cornell University)|Aug 19, 2019

Adversarial Robustness in Machine Learning被引用数 34

ひとこと要約

この論文は転移型と最適化ベースのブラックボックス攻撃を組み合わせたハイブリッド攻撃を提案し、最適化をローカルモデルの敵対的候補から開始することと、最適化結果を用いてローカルモデルを調整することにより、クエリコストを大幅に削減し成功率を向上させる。

ABSTRACT

We study adversarial examples in a black-box setting where the adversary only has API access to the target model and each query is expensive. Prior work on black-box adversarial examples follows one of two main strategies: (1) transfer attacks use white-box attacks on local models to find candidate adversarial examples that transfer to the target model, and (2) optimization-based attacks use queries to the target model and apply optimization techniques to search for adversarial examples. We propose hybrid attacks that combine both strategies, using candidate adversarial examples from local models as starting points for optimization-based attacks and using labels learned in optimization-based attacks to tune local models for finding transfer candidates. We empirically demonstrate on the MNIST, CIFAR10, and ImageNet datasets that our hybrid attack strategy reduces cost and improves success rates. We also introduce a seed prioritization strategy which enables attackers to focus their resources on the most promising seeds. Combining hybrid attacks with our seed prioritization strategy enables batch attacks that can reliably find adversarial examples with only a handful of queries.

研究の動機と目的

• 実用的な制約の下で、ブラックボックス対向攻撃のクエリ効率を理解する。
• ローカルモデルの開始点と最適化ベースの洗練を活用するハイブリッド攻撃を提案する。
• 限られたクエリでバッチ攻撃を可能にするためのシード優先順位付けを検討する。
• 通常ターゲットとロバストターゲットの両方について、MNIST、CIFAR-10、ImageNetで有効性を評価する。

提案手法

• ローカルモデルのアンサンブルを用いて、ホワイトボックス攻撃により候補の敵対的例を生成する。
• ローカル候補から出発するブラックボックス最適化を実行し、ターゲットモデルに対する敵対的例を作成する。
• 最適化中に生成されたラベル付き入力を用いてローカルモデルを再訓練または微調整し、転移性を向上させる。
• バッチ設定で最も有望なシードにクエリを集中させるためのシード優先戦略を導入する。
• MNIST、CIFAR-10、ImageNet における攻撃成功率とクエリコストの改善を測定する。

実験結果

リサーチクエスチョン

• RQ1 転送と最適化攻撃をハイブリッド化することで、ブラックボックス設定で敵対的例を見つけるために必要なクエリ数を削減できるか？
• RQ2 ローカルモデルからの候補敵対的例は、最適化攻撃のより良い開始点となるか？
• RQ3 最適化から得られたラベルは、ローカルモデルを改善してターゲットモデルへの転移を強化するか？
• RQ4 限られたクエリ予算の下で、バッチ攻撃のシード優先戦略はどの程度有効か？

主な発見

• ハイブリッド攻撃は、MNIST、CIFAR-10、ImageNet で、純粋な転移攻撃または純粋な最適化アプローチと比べて成功率を向上させ、クエリコストを削減する。
• ローカルモデルの敵対的候補から最適化を開始することで、クエリ/AEおよびクエリ/シードを大幅に低減する。
• 最適化由来のラベルを用いてローカルモデルを微調整すると、多くのケースで転移性が向上する。
• シード優先度付けは、バッチ攻撃のクエリを劇的に削減する（例：100のシードから10個のAEを求める場合のImageNetでの大幅な節約）。
• ImageNet では、単一のローカルモデルからの基礎転移率は3.4%にまで低下することがある一方で、ハイブリッド攻撃はほぼ100%の成功に近づき、クエリは大幅に削減される。