[論文レビュー] On the effectiveness of adversarial training against common corruptions

Klim Kireev, Maksym Andriushchenko+1 more|arXiv (Cornell University)|Mar 3, 2021

Adversarial Robustness in Machine Learning参考文献 54被引用数 17

ひとこと要約

この論文は、$\varepsilon$- adversarial training において小さな摂動半径（$\varepsilon = 1/255$）を用いることで、CIFAR-10 および ImageNet-100 における一般的な画像劣化に対して、ガウスノイズ拡張などの標準的ベースラインを上回る堅牢性が顕著に向上することを示している。本研究では、学習済みの知覚的類似度（LPIPS）を距離指標として用いる、新規で効率的な adversarial training の緩和手法を提案しており、AugMix や DeepAugment といったデータ拡張手法と組み合わせることで、最先端の性能を達成している。

ABSTRACT

The literature on robustness towards common corruptions shows no consensus on whether adversarial training can improve the performance in this setting. First, we show that, when used with an appropriately selected perturbation radius, $\ell_p$ adversarial training can serve as a strong baseline against common corruptions improving both accuracy and calibration. Then we explain why adversarial training performs better than data augmentation with simple Gaussian noise which has been observed to be a meaningful baseline on common corruptions. Related to this, we identify the $σ$-overfitting phenomenon when Gaussian augmentation overfits to a particular standard deviation used for training which has a significant detrimental effect on common corruption accuracy. We discuss how to alleviate this problem and then how to further enhance $\ell_p$ adversarial training by introducing an efficient relaxation of adversarial training with learned perceptual image patch similarity as the distance metric. Through experiments on CIFAR-10 and ImageNet-100, we show that our approach does not only improve the $\ell_p$ adversarial training baseline but also has cumulative gains with data augmentation methods such as AugMix, DeepAugment, ANT, and SIN, leading to state-of-the-art performance on common corruptions. The code of our experiments is publicly available at https://github.com/tml-epfl/adv-training-corruptions.

研究の動機と目的

• 論文の目的は、adversarial training が一般的な画像劣化に対して堅牢性を向上させるかどうかという、文献における曖昧さを解消することにある。
• adversarial training が単純なガウスノイズデータ拡張よりも優れている理由を調査し、その鍵となる要因として、ガウスノイズ拡張における $\sigma$- overfitting の問題を特定している。
• 一般的な劣化に対してよりよく一般化できる、より効果的かつ効率的な adversarial training の手法を開発することを目的としている。
• 提案手法を既存のデータ拡張技術と組み合わせ、標準ベンチマークで最先端の性能を達成することを目的としている。
• 特に劣化画像における分布シフト下での精度とキャリブレーションの両方を向上させることを目的としている。

提案手法

• 著者らは、慎重に選択された摂動半径を用いた $\varepsilon$- adversarial training を用いており、標準的な $\varepsilon = 8/255$ よりも $\varepsilon = 1/255$ が優れた性能を示すことを発見した。
• 学習済みの知覚的類似度（LPIPS）を距離指標として用いる、adversarial training の新規な緩和手法を提案している。LPIPS は、レイヤーワイズの adversarial パッチ摂動を用いて計算される。
• 計算効率が高く、Fast PAT や標準的な $\varepsilon$- adversarial training よりも強い堅牢性を維持するように設計されている。
• AugMix、DeepAugment、ANT、SIN といった既存のデータ拡張技術と組み合わせることで、累積的な性能向上を達成している。
• 複数のアーキテクチャ（ResNet-18、WRN-28-10）とデータセット（CIFAR-10-C、ImageNet-100-C）を用いた広範なアブレーションスタディにより、一般化性能の妥当性を検証している。
• キャリブレーションは期待キャリブレーション誤差（ECE）を用いて評価され、信頼性を向上させるために温度スケーリングが適用されている。

実験結果

リサーチクエスチョン

• RQ1 小さな摂動半径を用いた $\varepsilon$- adversarial training は、標準設定と比較して、一般的な画像劣化に対して堅牢性が向上するか？
• RQ2 adversarial training が、両者ともデータ拡張に類似した手法であるにもかかわらず、なぜガウスノイズ拡張を上回るのか？
• RQ3 ガウスノイズ拡張における性能劣化の原因は何か？ そして、これを緩和できるか？
• RQ4 学習済みの知覚的類似度指標を用いることで、adversarial training の効率性と堅牢性が向上するか？
• RQ5 提案手法を既存のデータ拡張技術と組み合わせることで、標準的な劣化ベンチマークで累積的な向上が得られるか？

主な発見

• $\varepsilon = 1/255$ を用いた $\varepsilon$- adversarial training は、CIFAR-10-C で 84.8% の精度を達成し、標準的な $\varepsilon = 8/255$ の設定を顕著に上回っている。
• 提案された LPIPS を用いた緩和手法（RLAT）は、WRN-28-10 を用いて CIFAR-10-C で 85.9% の精度を達成し、他の adversarial training 手法を上回っている。
• CIFAR-10-C において、RLAT と AugMix を組み合わせることで ECE が 1.3% に低下し、評価されたすべての手法の中で最低となった。
• ImageNet-100-C において、RLAT と ANT 3x3 を組み合わせることで ECE が 2.8% に低下した。これは ANT 単体の 4.5% と比較して顕著な改善である。
• 本手法は、複数のアーキテクチャとデータセットにおいて強い一般化性能を示しており、その有効性が裏付けられている。
• 研究では、小さな $\varepsilon$ を用いた adversarial training が、劣化画像におけるキャリブレーションを向上させること（ECE が 16.6% から 9.9% に低下）を確認した。一方、継続的データではわずかに性能が低下する（RLAT では 2.9% から 4.0% に）。