[論文レビュー] Practical Evaluation of Adversarial Robustness via Adaptive Auto Attack

Liu Ye, Yaya Cheng+4 more|arXiv (Cornell University)|Mar 10, 2022

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本論文は、パラメータフリーで効率的かつ信頼性の高い防御モデルの adversarial robustness 評価手法である Adaptive Auto Attack (A3) を提案する。適応的方角初期化を用いて収束を加速させ、オンライン統計に基づく破棄戦略により攻撃が容易なサンプルを優先的に処理することで、従来手法と比較して10倍速く、かつより低いロバスト精度を達成した。この手法は、1,681チームが参加した CVPR 2021 のホワイトボックス攻撃コンペティションで優勝を達成した。

ABSTRACT

Defense models against adversarial attacks have grown significantly, but the lack of practical evaluation methods has hindered progress. Evaluation can be defined as looking for defense models' lower bound of robustness given a budget number of iterations and a test dataset. A practical evaluation method should be convenient (i.e., parameter-free), efficient (i.e., fewer iterations) and reliable (i.e., approaching the lower bound of robustness). Towards this target, we propose a parameter-free Adaptive Auto Attack (A$^3$) evaluation method which addresses the efficiency and reliability in a test-time-training fashion. Specifically, by observing that adversarial examples to a specific defense model follow some regularities in their starting points, we design an Adaptive Direction Initialization strategy to speed up the evaluation. Furthermore, to approach the lower bound of robustness under the budget number of iterations, we propose an online statistics-based discarding strategy that automatically identifies and abandons hard-to-attack images. Extensive experiments demonstrate the effectiveness of our A$^3$. Particularly, we apply A$^3$ to nearly 50 widely-used defense models. By consuming much fewer iterations than existing methods, i.e., $1/10$ on average (10$ imes$ speed up), we achieve lower robust accuracy in all cases. Notably, we won $ extbf{first place}$ out of 1681 teams in CVPR 2021 White-box Adversarial Attacks on Defense Models competitions with this method. Code is available at: $\href{https://github.com/liuye6666/adaptive_auto_attack}{https://github.com/liuye6666/adaptive\_auto\_attack}$

研究の動機と目的

• 防御モデルにおける adversarial robustness の実用的で効率的かつ信頼性のある評価手法の不足に対処すること。
• 特に出力空間において、攻撃初期化のためのランダムサンプリング戦略に内在する限界を特定すること。
• 反復回数を減らすことで評価効率を向上させつつ、ロバストネスの下限推定値を損なわないようにすること。
• 攻撃が難しい画像をプロセスの初期段階で動的に破棄することで、信頼性を向上させること。
• 現実の攻撃予算を想定した条件下で、防御モデル同士を比較するための実用的ベンチマークツールを提供すること。

提案手法

• 出力空間における adversarial examples の方向バイアスを観測し、ランダムサンプリングよりも優れた初期点を生成するための Adaptive Direction Initialization (ADI) を提案する。
• 最初のリスタートからモデル固有の方向パターンを記録する観測者を導入し、その後の初期化をガイドする。
• 損失のトレンドに基づいて攻撃が難しい画像を早期に特定・破棄するオンライン統計に基づく破棄戦略 (OSD) を導入する。
• 残りの反復回数を攻撃が容易な画像に均等に割り当てることで、予算制約内で成功攻撃の数を最大化する。
• ADI と OSD を統合したハイパーパramータなしの統一フレームワーク A3 を構築し、テスト時学習を実現する。
• A3 フレームワーク内では PGD や I-FGSM などの反復的攻撃を用い、適応的初期化と動的リソース配分により性能を向上させる。

Figure 1 : Quantitative statistical results of the diversified direction $\boldsymbol{w}_{\boldsymbol{d}}$ of adversarial examples on 11 models. The diversified direction $\boldsymbol{w}_{\boldsymbol{d}}$ for all models disobey uniform distribution.

実験結果

リサーチクエスチョン

• RQ1 特定の防御モデルに対する adversarial examples は、特に出力空間において、初期点の方向に規則性を示すか？
• RQ2 出力空間におけるモデル固有の方向バイアスを活用することで、攻撃初期化の効率を向上させられるか？
• RQ3 すべての画像に等しい反復回数を割り当てるという単純な戦略は、ロバストネス評価において非効率ではないか？
• RQ4 オンライン損失統計を用いて攻撃が難しい画像を早期に特定・破棄することで、評価の効率性と信頼性を向上させられるか？
• RQ5 パラメータフリーで適応的な評価手法は、速度とロバストネス下限推定値の両面で、既存のベースラインを上回れるか？

主な発見

• A3 は平均して10倍の高速化を達成し、すべての評価ケースで従来手法の1/10の反復回数で、より低いロバスト精度を達成した。
• CVPR 2021 White-box Adversarial Attacks on Defense Models コンペティションにおいて、1,681チーム中1位となり、最終スコア51.10%を記録した。
• ADI 要因は、ランダム初期化と比較してロバスト精度を最大0.28%まで低下させ、攻撃品質の向上を実証した。
• OSD 戦略は、Feature Scatter 防御において最大18.30%のロバスト精度低下をもたらし、信頼性向上の顕著な効果を示した。
• 平均して、A3 はベースライン手法と比較し、ロバストネス評価の信頼性を0.18–0.28%向上させた。
• CIFAR-10 および ImageNet データセットにおける49種類の広く使われている防御モデルにおいて、A3 はすべてのベースラインを上回った。

Figure 2 : Quantitative statistical results of loss percentile of easy-to-attack images. As the number of iterations increases, the loss percentile of easy-to-attack images continually decrease.