[論文レビュー] Revisiting Adversarial Training for ImageNet: Architectures, Training and Generalization across Threat Models

Naman D Singh, Francesco Croce+1 more|arXiv (Cornell University)|Mar 3, 2023

Adversarial Robustness in Machine Learning被引用数 13

ひとこと要約

本研究は、アーキテクチャ（ViT、ConvNeXt、ConvStem）と学習方式が ImageNet における敵対的頑健性に与える影響を調査し、ConvStem と強力な事前学習および重いデータ拡張の組み合わせが最先端の l_infinity 頑健性をもたらし、未知の脅威モデルへの一般化性能を向上させることを示します。

ABSTRACT

While adversarial training has been extensively studied for ResNet architectures and low resolution datasets like CIFAR, much less is known for ImageNet. Given the recent debate about whether transformers are more robust than convnets, we revisit adversarial training on ImageNet comparing ViTs and ConvNeXts. Extensive experiments show that minor changes in architecture, most notably replacing PatchStem with ConvStem, and training scheme have a significant impact on the achieved robustness. These changes not only increase robustness in the seen $\ell_\infty$-threat model, but even more so improve generalization to unseen $\ell_1/\ell_2$-attacks. Our modified ConvNeXt, ConvNeXt + ConvStem, yields the most robust $\ell_\infty$-models across different ranges of model parameters and FLOPs, while our ViT + ConvStem yields the best generalization to unseen threat models.

研究の動機と目的

• ImageNet における見えている脅威と未知の敵対的攻撃に対する頑健性に、アーキテクチャの選択がどのように影響するかを調査する。
• ConvStem の有無で ViT、ConvNeXt、等方性 ConvNeXt を評価する。
• 強力な事前学習と重いデータ拡張が頑健性に与える影響を評価する。
• テスト時解像度の効果と最適化方式が頑健性に与える影響を検討する。
• ImageNet 上で高い l_infinity 頑健性を達成する実用的な訓練レシピを提供する。

提案手法

• ViT および ConvNeXt ファミリのアーキテクチャを ImageNet 上で l_infinity 敵対的訓練下で比較する。
• PatchStem を ConvStem に置換して CvSt 変種を作成し、頑健性を評価する。
• 敵対的訓練を初期化するために強力なクリーン事前学習を用いる。
• AT 中に重いデータ拡張（RandAugment、MixUp、CutMix、Random Erasing）を適用する。
• AutoAttack を用いて l_infinity、l2、l1 の脅威モデル全体で頑健性を評価する。
• テスト時解像度の効果とより大きな半径へのファインチューニングを分析する。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャの構成要素（PatchStem vs ConvStem）は ImageNet における見えている脅威モデルと未知の脅威モデルへの頑健性にどのように影響しますか？
• RQ2 強力な事前学習と重いデータ拡張が l_infinity 頑健性と l1/l2 攻撃への一般化に与える影響は何ですか？
• RQ3 テスト時解像度を上げることで、より強力な摂動に対する頑健性を損なうことなく頑健性の性能は向上しますか？
• RQ4 ConvStem 有効化された ConvNeXt および ViT モデルは、モデルサイズを問わず ImageNet における l_infinity 頑健性で既存の SOTA を上回ることができますか？
• RQ5 これらのアーキテクチャにおける1ステップ対2ステップの敵対的訓練は、頑健性と訓練効率にどう影響しますか？

主な発見

• ConvStem は等方性 ConvNeXt および ViT アーキテクチャ全体で、l_infinity 頑健性とクリーン精度を一貫して向上させます。
• ConvStem + 強力な事前学習 + 重い拡張は、アーキテクチャを超えて未知の l1 および l2 頑健性に大きな利得をもたらします。
• ConvNeXt-T + ConvStem は epsilon=4/255 で 50.2% の l_infinity 頑健精度を達成し、従来の最先端を小型モデルで 5.8%、大型モデルで 2.8% 上回ります。
• ViT + ConvStem は、評価されたアーキテクチャの中で未知の脅威モデルへの一般化性能が最も高い。
• 固定半径でより強力な攻撃であっても、テスト時解像度を高くすると複数の上位モデルで頑健精度が向上することがある。
• 2 ステップ APGD AT での訓練は、より多くのステップよりもコストを抑えつつ競争力のある頑健性をもたらす；2 ステップ AT での 50 エポック訓練は、長い訓練方式のいくつかを上回ることがある。