[論文レビュー] Benchmarking Adversarial Robustness

Yinpeng Dong, Qian Fu+5 more|arXiv (Cornell University)|Dec 26, 2019

Adversarial Robustness in Machine Learning参考文献 22被引用数 21

ひとこと要約

本論文は、多様な脅威モデルをカバーする2つのレジリエンス曲線を用いて、画像分類器における敵対的ロバストネスを評価する包括的なベンチマークを確立した。PGDに基づく敵対的訓練が最もロバストなモデルを生み出す一方、ランダム化ベースの防御はブラックボックスクエリ攻撃に対して優れた性能を示し、転送性はモデルのスケールや攻撃手法に大きく依存することが分かった。

ABSTRACT

Deep neural networks are vulnerable to adversarial examples, which becomes one of the most important research problems in the development of deep learning. While a lot of efforts have been made in recent years, it is of great significance to perform correct and complete evaluations of the adversarial attack and defense algorithms. In this paper, we establish a comprehensive, rigorous, and coherent benchmark to evaluate adversarial robustness on image classification tasks. After briefly reviewing plenty of representative attack and defense methods, we perform large-scale experiments with two robustness curves as the fair-minded evaluation criteria to fully understand the performance of these methods. Based on the evaluation results, we draw several important findings and provide insights for future research.

研究の動機と目的

• 画像分類器における敵対的ロバストネスを評価する、厳密で包括的なベンチマークを確立すること。
• 従来の敵対的ロバストネス研究における不完全で一貫性のない評価手法の限界を是正すること。
• ホワイトボックス、転送ベース、スコアベース、意思決定ベースの攻撃を含む完全な脅威モデル下で、最先端の攻撃および防御手法を比較すること。
• パラメータのばらつきと攻撃タイプにわたるレジリエンス曲線を用いて、公平で再現可能な評価基準を提供すること。
• 異なる防御手法の相対的強度と一般化特性に関する洞察を提供すること。

提案手法

• 著者らは、CIFAR-10およびImageNet上で15種類の攻撃手法と16種類の防御モデルの間で大規模かつクロス評価を可能にする、新たな敵対的ロバストネスプラットフォームを開発した。
• 公平な比較のための主な評価指標として、正確性 vs. パラメータのばらつき（pérturbation budget）および正確性 vs. 攻撃強度（クエリ数）の2つのレジリエンス曲線を用いた。
• 実験は、非ターゲット/ターゲット攻撃、ℓ∞およびℓ2ノルム、ホワイトボックス、転送ベース、スコアベース、意思決定ベースの4つの脅威モデルカテゴリをカバーした。
• PGDベースの敵対的訓練、TRADES、ランダム化（R&P、RandMix）、入力変換（JPEG、Bit-Red）、防御的 distillation などを含む防御がベンチマークに含まれた。
• すべての評価は、防御が特定の設定でロバスト性を主張していない場合でも、完全な脅威モデル下で実施され、包括的な評価を確保した。
• CleverHans や Foolbox といった既存ツールでは、本ベンチマークのスコープを完全にサポートできなかったため、プラットフォームはその限界を克服することを目的として設計された。

実験結果

リサーチクエスチョン

• RQ1 異なる防御手法は、パラメータのばらつきや攻撃反復回数に応じて、どのようにロバストネスの面で比較されるか？
• RQ2 防御のロバストネスは、ℓ∞とℓ2ノルム、またはホワイトボックスとブラックボックス設定といった異なる脅威モデル間で一般化可能か？
• RQ3 MIM や DIM といった最近の攻撃は、CIFAR-10 よりも ImageNet でより優れた転送性を示すのはなぜか？また、その要因は何か？
• RQ4 なぜランダム化ベースの防御はクエリベースのブラックボックス攻撃に対して優れた性能を発揮するのか？
• RQ5 入力変換防御はどの程度ロバストネスを向上させるのか？また、他の防御タイプと効果的に組み合わせられるか？

主な発見

• 防御間の相対的ロバストネスは、パラメータのばらつきや反復回数といった攻撃パラメータに大きく依存するため、単一の設定での比較は誤解を招く可能性がある。
• PGDベースの敵対的訓練は、最もロバストなモデルを生成し、訓練時に使用されていない脅威モデル（例：ℓ∞で訓練したモデルがℓ2攻撃に対して一般化する）にもロバストネスが伝播することが分かった。
• ランダム化ベースの防御（例：R&P、RandMix）は、スコアベースおよび意思決定ベースのブラックボックス攻撃に対して特に効果的であり、勾配推定を妨げる予測不能なモデル出力をもたらすからである。
• ImageNetでは、最近の攻撃（MIM、DIM）がBIMを上回る転送性を示しており、高次元の入力におけるサブスティチュートモデルへの過適合が抑えられていると考えられる。
• JPEG や Bit-Red といった入力変換防御は、クエリベース攻撃に対してはやや低いが一貫したロバストネス向上をもたらし、他の防御と組み合わせやすく、実装が単純である。
• BIM では、CIFAR-10 における敵対的例の転送性は ImageNet よりも低く、これは、より小さい次元のデータセットでは BIM がサブスティチュートモデルに過適合しやすいことを示唆している。