[論文レビュー] Confidence-Calibrated Adversarial Training and Detection: More Robust Models Generalizing Beyond the Attack Used During Training

David Stutz, Matthias Hein+1 more|arXiv (Cornell University)|Oct 14, 2019

Adversarial Robustness in Machine Learning被引用数 3

ひとこと要約

この論文では、予測の信頼度が敵対的例との距離に応じて減少するようにキャリブレーションすることで、信頼度のしきい値による検出が可能になる、信頼度キャリブレーション付き敵対的訓練（CCAT）を提案する。標準の敵対的訓練とは異なり、訓練中に見られなかったより強力な攻撃や多様な脅威モデルに対しても、高い自然精度を維持しながら、訓練時の攻撃を越えて優れた一般化性能を達成する。

ABSTRACT

Adversarial training is the standard to train models robust against adversarial examples. However, especially for complex datasets, adversarial training incurs a significant loss in accuracy and is known to generalize poorly to stronger attacks, e.g., larger perturbations or other threat models. In this paper, we introduce confidence-calibrated adversarial training (CCAT) where the key idea is to enforce that the confidence on adversarial examples decays with their distance to the attacked examples. We show that CCAT preserves better the accuracy of normal training while robustness against adversarial examples is achieved via confidence thresholding, i.e., detecting adversarial examples based on their confidence. Most importantly, in strong contrast to adversarial training, the robustness of CCAT generalizes to larger perturbations and other threat models, not encountered during training. For evaluation, we extend the commonly used robust test error to our detection setting, present an adaptive attack with backtracking and allow the attacker to select, per test example, the worst-case adversarial example from multiple black- and white-box attacks. We present experimental results using $L_\\infty$, $L_2$, $L_1$ and $L_0$ attacks on MNIST, SVHN and Cifar10.

研究の動機と目的

• 訓練中に使用されていない、より強い攻撃（例：大きな摂動や異なる脅威モデル）への一般化性能の低さを是正すること。
• ロバストトレーニング中に自然精度を高く維持すること。標準の敵対的訓練では一般的に観察される精度の低下を回避すること。
• 各攻撃タイプごとに再訓練を必要としない、信頼度の減少に基づく検出メカニズムを構築すること。
• 複数のブラックボックスおよびホワイトボックス戦略を組み合わせた、適応的かつ例固有の攻撃に対するロバストネスを評価すること。
• 適応的攻撃下での現実的で適応的な脅威設定において、検出性能を含めたロバストテスト誤差の指標を拡張すること。

提案手法

• 敵対的例の元の入力からの摂動距離に応じて、モデルの信頼度が単調に減少するように信頼度キャリブレーションを導入する。
• 特に元の入力から遠い敵対的サンプルに対して高い信頼度を示すのを防ぐ損失関数を用いて、敵対的サンプルでモデルを訓練する。
• 推論時における信頼度しきい値処理を適用する：モデルの信頼度が学習されたしきい値未満に下がった場合、入力を敵対的例と分類する。
• バックトラッキングを含むステップバイステップの適応的攻撃を用いる。各テスト入力に対して、複数の攻撃タイプ（ブラックボックスおよびホワイトボックス）から最悪の敵対的例を選択する。
• 標準のロバストテスト誤差を拡張し、適応的攻撃下での検出性能を測定する。誤分類率と偽陽性率の両方を評価する。
• MNIST、SVHN、CIFAR-10のデータセットで、$L_\infty$、$L_2$、$L_1$、$L_0$ 摂動に対して評価する。

実験結果

リサーチクエスチョン

• RQ1 信頼度キャリブレーションは、訓練時に使用されていないより強い攻撃へのロバストモデルの一般化を向上させることができるか？
• RQ2 信頼度しきい値処理は、自然精度を損なわせることなく、敵対的例の効果的な検出を可能にするか？
• RQ3 複数の攻撃戦略を組み合わせ、各入力に対して最悪の例を選択する適応的攻撃下で、CCATはどのように性能を発揮するか？
• RQ4 標準の敵対的訓練と比較して、CCATは自然精度をどの程度高く維持できるか？
• RQ5 信頼度の減少メカニズムは、$L_1$、$L_0$、$L_2$ 攻撃を含む多様な脅威モデルにおいて、より優れたロバストネスをもたらすか？

主な発見

• CCATは、MNIST、SVHN、CIFAR-10において、自然精度が標準の敵対的訓練を上回り、クリーンデータ下でも最小限の性能低下を示す。
• 訓練時に使用されていない、より大きな $L_\infty$ 摂動や他の脅威モデル（例：$L_2$、$L_1$、$L_0$）に対しても、ロバストネスが効果的に一般化される。
• 信頼度しきい値処理メカニズムは、複数の攻撃タイプを組み合わせた適応的攻撃下でも、高い検出率で敵対的例を検出するのに成功している。
• 特に最悪の敵対的例の成功確率を低減することで、適応的攻撃下でのロバストネスにおいて、標準の敵対的訓練を上回る性能を示している。
• 多様なデータセットおよび摂動タイプにおいて強力な性能を維持しており、広範な一般化能力を示している。
• 信頼度の減少メカニズムは、敵対的距離と強く相関しており、CCATのコア設計原理が正当化されている。