[論文レビュー] Fast and Reliable Evaluation of Adversarial Robustness with Minimum-Margin Attack

Ruize Gao, Jiongxiao Wang+6 more|arXiv (Cornell University)|Jun 15, 2022

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本稿では、Adversarial Robustnessの評価に向けた高速かつ信頼性の高い手法であるMinimum-Margin (MM)アタックを提案する。この手法は、計算コストをAAの3%にまで低減しながら、AAと同等の性能を達成する。MMアタックは、最も攻撃に適した例を特定するために最小マージン基準を用い、クラス数に依存しない計算効率を実現するためのSequential Target Ranking Selection (STARS)戦略を採用する。

ABSTRACT

The AutoAttack (AA) has been the most reliable method to evaluate adversarial robustness when considerable computational resources are available. However, the high computational cost (e.g., 100 times more than that of the project gradient descent attack) makes AA infeasible for practitioners with limited computational resources, and also hinders applications of AA in the adversarial training (AT). In this paper, we propose a novel method, minimum-margin (MM) attack, to fast and reliably evaluate adversarial robustness. Compared with AA, our method achieves comparable performance but only costs 3% of the computational time in extensive experiments. The reliability of our method lies in that we evaluate the quality of adversarial examples using the margin between two targets that can precisely identify the most adversarial example. The computational efficiency of our method lies in an effective Sequential TArget Ranking Selection (STARS) method, ensuring that the cost of the MM attack is independent of the number of classes. The MM attack opens a new way for evaluating adversarial robustness and provides a feasible and reliable way to generate high-quality adversarial examples in AT.

研究の動機と目的

• Adversarial Robustness評価の現在のゴールドスタンダードであるAutoAttack (AA) の高い計算コストが、リソース制限のある環境での利用を制限している問題に対処すること。
• 高価なアタックアンサンブルに依存せずに、最も攻撃に適した例を信頼性高く特定できる手法の開発。
• 生成にかかる時間コストを削減することで、高品質な adversarial examples を adversarial training (AT) に効率的に統合すること。
• 実務家が利用可能な正確で計算的に実行可能なスケーラブルなベンチマークを提供すること。

提案手法

• MMアタックは、真のクラススコアと他のすべてのクラスの最高スコアとの間の最小マージンを最大化することで、最も攻撃に適した例を特定する。
• クラス数に依存しない計算コストを実現するため、効率的なターゲットクラス選択を可能にするSequential Target Ranking Selection (STARS)機構を導入する。
• 特徴空間における最も脆弱な方向を正確に捉えるために、2つのターゲット間のマージンを用いて adversarial example の品質を評価する。
• 適応的ステップサイズと反復的リファインメントを用いたターゲットアタックフレームワークを採用し、高品質な adversarial examples を生成する。
• 潜在的に強い adversarial examples を生成できる可能性の高いターゲットクラスを動的にランク付けすることで、無駄な計算を削減する。
• 標準的なトレーニングパイプラインと互換性を持つように設計されており、PGD を最小限のコード変更で直接置き換え可能である。

実験結果

リサーチクエスチョン

• RQ1 単一の効率的なアタック手法が、AA の信頼性に匹敵する性能を示せるか？
• RQ2 最小マージン基準が、標準的な損失関数よりも、adversarial example の品質をより正確かつ安定して測定できるか？
• RQ3 AAの計算コストの一部にまで低減できるか、性能を損なわずに行えるか？
• RQ4 MMアタックは、RobustBench に含まれる多様なモデルや防御機構に対しても有効であるか？
• RQ5 adversarial training において PGD を MMアタックに置き換えることで、モデルのロバストネスが顕著に向上するか？

主な発見

• CIFAR-10, CIFAR-100, SVHN において、MMアタックは AA と同等の adversarial robust accuracy を達成しており、PGD, CW, FAB などの個別アタックの成功率と同等またはそれを上回っている。
• PGD-10 でトレーニングされた ResNet-18 において、MM3 は CIFAR-10 で 93.2% のロバスト精度を達成し、AA と同等の性能を示しながら計算時間は AA の 3% にまで削減された。
• T-AA (ターゲット付きAA) の2%、標準AAの3%にまで計算コストを削減でき、リソース制限のある研究者や大規模トレーニングに実用的である。
• adversarial training において PGD を MM3-F20 に置き換えると、CIFAR-10 でロバスト精度が 91.8% から 93.4% に向上し、より高品質な adversarial examples の品質が向上したことが示された。
• RobustBench の12の防御機構および6つの $L_2$-ノルム防御機構においても、強力な性能を維持しており、一般化性と信頼性が確認された。
• STARS機構により、クラス数にかかわらずアタックコストが一定を保つため、大規模分類タスクへのスケーラビリティが確保された。