[論文レビュー] Adversarial Attack on Attackers: Post-Process to Mitigate Black-Box Score-Based Query Attacks

Sizhe Chen, Zhehao Huang+4 more|arXiv (Cornell University)|May 24, 2022

Adversarial Robustness in Machine Learning被引用数 10

ひとこと要約

本稿では、スコアベースのクエリ攻撃（SQAs）を混乱させるために、モデルのロジットを敵対的に操作することで攻撃者が誤った攻撃方向に導かれるようにする後処理防御AAAを提案する。SQAsの貪欲な最適化に依存するため、損失の減少を模倣するような損失曲線（例えば、振動する、急激に低下する）を設計することで、CIFAR-10においてSquare攻撃（2500クエリ）で81.36%のロバスト精度を達成し、再訓練を必要とせず、推論オーバーヘッドを最小限に抑えつつ、クリーン精度を維持し、キャリブレーション性能を向上させる。

ABSTRACT

The score-based query attacks (SQAs) pose practical threats to deep neural networks by crafting adversarial perturbations within dozens of queries, only using the model's output scores. Nonetheless, we note that if the loss trend of the outputs is slightly perturbed, SQAs could be easily misled and thereby become much less effective. Following this idea, we propose a novel defense, namely Adversarial Attack on Attackers (AAA), to confound SQAs towards incorrect attack directions by slightly modifying the output logits. In this way, (1) SQAs are prevented regardless of the model's worst-case robustness; (2) the original model predictions are hardly changed, i.e., no degradation on clean accuracy; (3) the calibration of confidence scores can be improved simultaneously. Extensive experiments are provided to verify the above advantages. For example, by setting $\ell_\infty=8/255$ on CIFAR-10, our proposed AAA helps WideResNet-28 secure 80.59% accuracy under Square attack (2500 queries), while the best prior defense (i.e., adversarial training) only attains 67.44%. Since AAA attacks SQA's general greedy strategy, such advantages of AAA over 8 defenses can be consistently observed on 8 CIFAR-10/ImageNet models under 6 SQAs, using different attack targets, bounds, norms, losses, and strategies. Moreover, AAA calibrates better without hurting the accuracy. Our code is available at https://github.com/Sizhe-Chen/AAA.

研究の動機と目的

• モデル出力スコアのみを用いて攻撃する実用的でクエリ効率の良いスコアベースのクエリ攻撃（SQAs）の増加する脅威に対処すること。
• クリーン精度を低下させず、モデルの再訓練を必要とせず、事前学習済みモデルに即座に統合可能なプラグイン方式の防御を開発すること。
• 出力スコアで観察される損失トレンドを操作することで、同時にモデルのキャリブレーションを改善し、攻撃者を欺くこと。
• 入力前処理や動的推論に依存せず、テスト時のみに適用可能な使いやすいテスト時防御を提供すること。

提案手法

• SQAsが損失の減少を観測することに依存するため、損失曲線を操作して、攻撃者が誤った攻撃方向に導かれるように、ロジットを最適化して後処理する。
• 正弦関数や段階的関数を用いて、真の敵対的方向の周辺で欺瞞的な損失トレンド（例えば、急激な低下や振動）を生成するように、目的の損失曲線を設計する。
• 正弦関数または区分線形関数で定義された目的の損失曲線を近似するようにロジットを最適化し、クリーン予測への影響を最小限に抑える。
• 少ないイテレーション数（例：60–80）で実行可能な微分可能最適化プロセスをロジットに対して適用し、防御効果と推論コストのバランスを取る。
• キャリブレーションを後処理ステップに統合し、クリーン精度を損なわずに期待キャリブレーション誤差（ECE）を低減する。
• モデルアーキテクチャや学習プロセスの変更なしに、テスト時に即座に適用可能なプラグアンドプレイ方式で防御を統合する。

実験結果

リサーチクエスチョン

• RQ1 スコアベースのクエリ攻撃を、モデル出力で観察される損失トレンドを操作することで、効果的に欺くことができるか？
• RQ2 このような防御は、再訓練を伴わず、同時にモデルのキャリブレーションを改善し、クリーン精度を維持できるか？
• RQ3 非適応的および適応的SQAs（双方向および逆方向探索戦略を含む）に対して、防御はどの程度有効か？
• RQ4 防御は、異なるモデル、データセット、攻撃タイプ、ハイパーパrameter（例：ノルム、損失関数）に一般化できるか？
• RQ5 実世界の応用において、最小限の実行時オーバーヘッドで効率的に実装可能か？

主な発見

• CIFAR-10においてℓ∞ = 8/255の場合、AAAはSquare攻撃（2500クエリ）で81.36%のロバスト精度を達成し、再訓練による防御（67.44%）を顕著に上回る。
• キャリブレーションは維持または向上し、期待キャリブレーション誤差（ECE）はベースラインの3.52%から80回の最適化イテレーションで2.53%に低下した。
• bi-Squareやop-Squareといった適応的攻撃に対しても、AAA-sineはそれぞれ76.69%および76.41%のロバスト精度を維持し、戦略の逆設計に対して強い耐性を示した。
• 8つのモデル（CIFAR-10/ImageNet）、6つのSQAs、さまざまな攻撃設定において、防御は強力な一般化性能を示した。
• 60–80回のイテレーションでロジットを最適化することで、81.37%の近似最適なロバスト精度が達成され、1サンプルあたりの推論時間はわずか0.15ms増加にとどまった。
• 正弦関数による損失曲線を用いるAAA-sineは、損失変化に明確な方向的ヒントを残さないため、非適応的および適応的攻撃者を両方とも効果的に欺いた。