[論文レビュー] Projection & Probability-Driven Black-Box Attack

Jie Li, Rongrong Ji+5 more|arXiv (Cornell University)|May 8, 2020

Adversarial Robustness in Machine Learning参考文献 40被引用数 4

ひとこと要約

本稿では、圧縮センシングに基づく低周波数制約付きセンシング行列を用いて解空間を縮小し、確率駆動型ランダムウォーク戦略により最適化を向上させる、クエリ効率の高いブラックボックス攻撃手法であるProjection & Probability-driven Black-box Attack (PPBA)を提案する。PPBAは、Google Cloud Vision APIを含む実世界のシステムにおいて、SOTA手法と比較して最大24%少ないクエリで、84%の成功率を達成し、最先端の性能を実現する。

ABSTRACT

Generating adversarial examples in a black-box setting retains a significant challenge with vast practical application prospects. In particular, existing black-box attacks suffer from the need for excessive queries, as it is non-trivial to find an appropriate direction to optimize in the high-dimensional space. In this paper, we propose Projection & Probability-driven Black-box Attack (PPBA) to tackle this problem by reducing the solution space and providing better optimization. For reducing the solution space, we first model the adversarial perturbation optimization problem as a process of recovering frequency-sparse perturbations with compressed sensing, under the setting that random noise in the low-frequency space is more likely to be adversarial. We then propose a simple method to construct a low-frequency constrained sensing matrix, which works as a plug-and-play projection matrix to reduce the dimensionality. Such a sensing matrix is shown to be flexible enough to be integrated into existing methods like NES and Bandits$_{TD}$. For better optimization, we perform a random walk with a probability-driven strategy, which utilizes all queries over the whole progress to make full use of the sensing matrix for a less query budget. Extensive experiments show that our method requires at most 24% fewer queries with a higher attack success rate compared with state-of-the-art approaches. Finally, the attack method is evaluated on the real-world online service, i.e., Google Cloud Vision API, which further demonstrates our practical potentials.

研究の動機と目的

• 高次元入力空間における既存のブラックボックス攻撃が要請する高いクエリ予算を緩和すること。
• 敵対的摂動の低周波数バイアスを活用することで、敵対的例生成の解空間を縮小すること。
• 履歴クエリを活用する確率駆動型戦略により、最適化の効率を向上させること。
• 標準ベンチマークを超えた実世界のオンラインサービスにおける評価を通じて、実用的応用可能性を示すこと。

提案手法

• 敵対的摂動生成を圧縮センシング問題としてモデル化し、低周波数制約付きセンシング行列を用いて周波数スパース信号を回復する。
• 標準基底に逆離散コサイン変換（DCT）を適用し、低周波成分を選択することでセンシング行列を構築し、次元を150,528から約1,500次元に削減する。
• センシング行列は、NES や Bandits TD などの既存のクエリベース手法と互換性を持つ、即挿し可能なプロジェクション行列として機能する。
• 確率駆動型ランダムウォーク戦略は、各最適化ステップを三つ組（例：正、ゼロ、負）に量子化し、履歴クエリフィードバックを用いて方向選択をガイドする。
• この戦略により、反復間で情報の再利用を最大化し、高次元勾配推定に依存するのを軽減することで、サンプル効率を向上させる。
• センシング行列と確率駆動型最適化を統合したフレームワークにより、クエリコストを低減しながらも高い攻撃成功率を維持する。

実験結果

リサーチクエスチョン

• RQ1 敵対的摂動に内在する低周波数の事前知識を、ブラックボックス攻撃における解空間の縮小に活用できるか？
• RQ2 探索空間を制約することで、高次元ブラックボックス攻撃におけるクエリ効率をどのように向上させられるか？
• RQ3 全履歴クエリを活用する確率駆動型最適化戦略は、勾配推定に基づく手法を上回るクエリ効率を達成できるか？
• RQ4 Google Cloud Vision などの生産環境向けAPIに対して、このような手法はどの程度の成功を収められるか？

主な発見

• PPBAは、標準的な ImageNet ベンチマークにおいて、SOTA手法と比較して最大24%のクエリ数削減を達成する。
• 本手法は、Inception v3 などの深層モデルにおいても、既存手法よりも高い攻撃成功率を達成する。
• 最適化の全過程を通じて、PPBAは20%を超えるステップ効果率を維持するが、Bandits TD は20%未満にとどまる。
• 実世界の Google Cloud Vision API では、PPBAが平均314クエリで1回の成功攻撃を達成し、84%の攻撃成功率を達成する。
• 低周波数センシング行列は柔軟性に富み、NES や Bandits TD などの既存のクエリベース攻撃フレームワークにシームレスに統合可能である。
• 確率駆動型戦略により、すべてのクエリを効果的に活用し、サンプル効率を向上させるとともに収束を加速する。