[論文レビュー] Recent Advances in Adversarial Training for Adversarial Robustness
この調査は、敵対的訓練（AT）による敵対的ロバスト性の向上に関する最近の進展をレビューし、新規の分類法を提示し、一般化の課題を議論し、今後の方向性を概説する。
Adversarial training is one of the most effective approaches defending against adversarial examples for deep learning models. Unlike other defense strategies, adversarial training aims to promote the robustness of models intrinsically. During the last few years, adversarial training has been studied and discussed from various aspects. A variety of improvements and developments of adversarial training are proposed, which were, however, neglected in existing surveys. For the first time in this survey, we systematically review the recent progress on adversarial training for adversarial robustness with a novel taxonomy. Then we discuss the generalization problems in adversarial training from three perspectives. Finally, we highlight the challenges which are not fully tackled and present potential future directions.
研究の動機と目的
- 最新の敵対的訓練手法の概要と、ロバスト性の向上方法を提供する。
- ATアプローチの新規分類法を導入し、ロバスト性の向上と関連づける。
- ATにおける一般化のギャップを議論し、課題と今後の研究方向を特定する。
提案手法
- 最近のAT手法を構造化された分類法に整理・カテゴリ化する（敵対的正則化、カリキュラム、アンサンブル、適応ε、半/無監視、効率的訓練、その他の変種）。
- 表1の実験結果を要約し、手法とデータセット間のロバスト性と性能のトレードオフを比較する。
- 標準精度、敵対的ロバスト性、および未知の攻撃における一般化の問題を論じる。
- min-max最適化と一般化の理論的・実践的な課題を強調し、ATを超えた方向性を示唆する。
実験結果
リサーチクエスチョン
- RQ1主要な敵対的訓練手法のファミリーは何で、それらは定式化と対象においてどのように異なるのか？
- RQ2最近のAT手法はデータセットや攻撃ごとにどのように性能を示し、どのような一般化ギャップが残っているのか？
- RQ3現在のATアプローチの主な制限（例：ミンマックス最適化、過学習、未知の攻撃）と、ATを超えた潜在的方向性は何か？
主な発見
| Publication | Model Architecture | Attack | ε | Dataset | Accuracy | |
|---|---|---|---|---|---|---|
| Adversarial Regularization | Qin et al. (2019) | ResNet-152 | PGD 50 | 4/255 | ImageNet | 47.00% |
| Zhang et al. (2019b) | Wide ResNet | CW 10 | 0.031/1 | CIFAR-10 | 84.03% | |
| Wang et al. (2020) | ResNet-18 | PGD 20 | 8/255 | CIFAR-10 | 55.45% | |
| Kannan et al. (2018) | InceptionV3 | PGD 10 | 16/255 | ImageNet | 27.90% | |
| Mao et al. (2019) | Wide ResNet | PGD 20 | 8/255 | CIFAR-10 | 50.03% | |
| Zhang et al. (2020) | Wide ResNet | PGD 20 | 16/255 | CIFAR-10 | 49.86% | |
| Cai et al. (2018) | DenseNet-161 | PGD 7 | 8/255 | CIFAR-10 | 69.27% | |
| Wang et al. (2019) | 8-Layer ConvNet | PGD 20 | 8/255 | CIFAR-10 | 42.40% | |
| Pang et al. (2019) | Wide ResNet | PGD 10 | 0.005 | CIFAR-100 | 32.10% | |
| Kariyappa and Qureshi (2019) | ResNet-20 | PGD 30 | 0.09/1 | CIFAR-10 | 46.30% | |
| Yang et al. (2020a) | ResNet-20 | PGD 20 | 0.01/1 | CIFAR-10 | 52.4% | |
| Balaji et al. (2019) | ResNet-152 | PGD 1000 | 8/255 | ImageNet | 59.28% | |
| Ding et al. (2020) | Wide ResNet | PGD 100 | 8/255 | CIFAR-10 | 47.18% | |
| Cheng et al. (2020) | Wide ResNet | PGD 20 | 8/255 | CIFAR-10 | 73.38% | |
| Alayrac et al. (2019) | Wide ResNet | FGSM | 8/255 | CIFAR-10 | 62.18% | |
| Carmon et al. (2019) | Wide ResNet | PGD 10 | 8/255 | CIFAR-10 | 63.10% | |
| Zhai et al. (2019) | Customized ResNet | PGD 7 | 8/255 | CIFAR-10 | 42.48% | |
| Hendrycks et al. (2019) | Wide ResNet | PGD 20 | 0.3/1 | ImageNet | 50.40% | |
| Shafahi et al. (2019) | Wide ResNet | PGD 100 | 8/255 | CIFAR-10 | 46.19% | |
| Wong et al. (2020) | ResNet-50 | PGD 40 | 2/255 | ImageNet | 43.43% | |
| Andriushchenko and Flammarion (2020) | ResNet-50 | PGD 50 | 2/255 | ImageNet | 41.40% | |
| Kim et al. (2021) | PreActResNet-18 | FGSM | 8/255 | CIFAR-10 | 50.50% | |
| Vivek and Babu (2020b) | Wide ResNet | PGD 40 | 8/255 | MNIST | 88.51% | |
| Song et al. (2019) | Customized ConvNet | PGD 20 | 4/255 | CIFAR-10 | 58.10% | |
| Vivek and Babu (2020a) | Wide ResNet | PGD 100 | 0.3/1 | MNIST | 90.03% | |
| Huang et al. (2020) | Wide ResNet | PGD 20 | 8/255 | CIFAR-10 | 45.80% | |
| Zhang et al. (2019a) | Wide ResNet | PGD 20 | 8/255 | CIFAR-10 | 47.98% | |
| Dong et al. (2020) | Wide ResNet | PGD 20 | 8/255 | CIFAR-100 | 29.40% | |
| Wang and Zhang (2019) | Wide ResNet | CW 200 | 4/255 | CIFAR-10 | 60.30% | |
| Zhang and Wang (2019) | Wide ResNet | PGD 20 | 8/255 | CIFAR-100 | 47.20% | |
| Pang et al. (2020b) | Wide ResNet | PGD 500 | 8/255 | CIFAR-10 | 60.75% | |
| Lee et al. (2020) | PreActResNet-18 | PGD 20 | 8/255 | Tiny ImageNet | 20.31% | |
| Zhang and Xu (2020) | Wide ResNet | PGD 20 | 8/255 | CIFAR-10 | 45.11% | |
| Madry et al. (2018) | ResNet-50 | PGD 20 | 8/255 | CIFAR-10 | 45.80% | |
| Wang and Zhang (2019) | Wide ResNet | CW 200 | 4/255 | CIFAR-10 | 60.30% | |
| Zhang and Xu (2020) | Wide ResNet | PGD 20 | 8/255 | CIFAR-10 | 45.11% | |
| Pang et al. (2020a) | Wide ResNet | PGD 500 | 8/255 | CIFAR-10 | 60.75% |
- 敵対的訓練は依然として最も効果的な防御手段だが、多くのデータセットで敵対的評価下の精度はクリーン精度よりもなお大幅に低い。
- さまざまなAT手法が存在（正則化、カリキュラム、アンサンブル、適応ε、半/無監視、効率訓練）で、ロバストネスと標準精度の間のトレードオフは手法ごとに異なる。
- 一般化ギャップ（敵対的に堅牢な一般化と未知の攻撃への一般化）は持続的で、現在のAT技術だけでは完全には解決されていない。
- 現在の実践はしばしPGDベースの内部最適化に依存しており、正式なロバスト性証明を提供せず、計算コストが高いことがある。
- 半/無監視データはサンプル効率のギャップを縮小し、ロバスト性を向上させることができるが、保証は依然として限定的。
- ATを高速化する取り組み（Free-AT、FAST-AT、YOPO）は訓練時間を短縮するのに役立つが、抑制されないと壊滅的過学習のような問題を招くことがある。
より良い研究を、今すぐ始めましょう
論文設計から論文執筆まで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。