[論文レビュー] An Empirical Evaluation on Robustness and Uncertainty of Regularization Methods

Sanghyuk Chun, Seong Joon Oh+4 more|arXiv (Cornell University)|Mar 9, 2020

Adversarial Robustness in Machine Learning参考文献 42被引用数 35

ひとこと要約

この論文は、最先端の正則化技術（例：Mixup、CutMix、Cutout、ShakeDrop、ラベル平滑化）を用いて、敵対的および自然 perturbations への堅牢性と不確実性推定を実証的に評価する。これらは強力で安価なベースラインとして、特化した堅牢性手法を上回ることがある。

ABSTRACT

Despite apparent human-level performances of deep neural networks (DNN), they behave fundamentally differently from humans. They easily change predictions when small corruptions such as blur and noise are applied on the input (lack of robustness), and they often produce confident predictions on out-of-distribution samples (improper uncertainty measure). While a number of researches have aimed to address those issues, proposed solutions are typically expensive and complicated (e.g. Bayesian inference and adversarial training). Meanwhile, many simple and cheap regularization methods have been developed to enhance the generalization of classifiers. Such regularization methods have largely been overlooked as baselines for addressing the robustness and uncertainty issues, as they are not specifically designed for that. In this paper, we provide extensive empirical evaluations on the robustness and uncertainty estimates of image classifiers (CIFAR-100 and ImageNet) trained with state-of-the-art regularization methods. Furthermore, experimental results show that certain regularization methods can serve as strong baseline methods for robustness and uncertainty estimation of DNNs.

研究の動機と目的

• 敵対的摂動および自然な汚染に対する堅牢性に影響を与える一般的な正則化技術を評価する。
• 正則化モデルのキャリブレーションとOOD検出性能を評価する。
• 正則化ベースのベースラインと、堅牢性と不確実性を目的とした手法とを比較する。
• 最小コストで強力な全体的堅牢性を生み出す正則化の組み合わせを特定する。
• 堅牢性研究におけるベースラインとして正則化を使用することの意味を強調する。

提案手法

• PyramidNet-200およびResNet-50をベースとしたCIFAR-100とImageNetの画像分類器を訓練する。
• Cutout、Mixup、CutMix、ShakeDrop、ラベル平滑化およびそれらの組み合わせを適用する。
• FGSM敵対攻撃、CIFAR-100-C/ImageNet-Cの破損、オクルージョンに対する堅牢性を評価する。
• 期待キャリブレーション誤差とOOD検出誤差で不確実性を評価する。
• 敵対的訓練および敵対的ロジットペアリング（ALP）と比較する。
• 標準のSGDモーメンタム（バッチ=64、300エポック）とデータ拡張を用い、ラベル平滑化で結果を報告する。
• OOD拡張（SVHN、GAN）およびCIFAR-C/ImageNet-Cベンチマークを不確実性テストに使用する。

実験結果

リサーチクエスチョン

• RQ1 単純でよく知られた正則化技術は、敵対的および非敵対 perturbations の両方に対して堅牢な性能を提供するか。
• RQ2 正則化手法は、特化した堅牢性手法と比較してキャリブレーションとOOD検出にどのように影響するか。
• RQ3 正則化手法の組み合わせは、一般的なベンチマークでターゲットとした堅牢性アプローチを上回ることができるか。
• RQ4 ラベル平滑化は、正則化モデルの堅牢性と不確実性推定にどの程度影響するか。
• RQ5 正則化されたモデルは、堅牢性と不確実性研究の強力なベースラインとして有効か。

主な発見

• Cutout + ShakeDrop + ラベル平滑化、Mixup + ShakeDrop + ラベル平滑化、CutMix + ShakeDrop + ラベル平滑化といった組み合わせの正則化モデルは、指標全体で堅牢性と不確実性の結果を改善する。
• ラベル平滑化のみでは分類精度が向上しない場合が多いが、複数の設定で敵対的堅牢性、キャリブレーション誤差、およびOOD検出を改善する。
• いくつかの正則化組み合わせは、ALPやOOD拡張などの特化手法を複数の指標で上回り、特にオクルージョンと不確実性指標で優れる。
• MixupとCutMixは一般的な破損に対する堅牢性を向上させる傾向がある；Cutoutはオクルージョン堅牢性に優れるが、他の撹乱には悪影響を与える場合がある。
• ImageNetでは、正則化モデルは堅牢性が競合的で、Mixup + ラベル平滑化は強力なImageNet-CのmCE（69.14%）を達成し、スタイライズド-ImageNetベースラインに匹敵する。
• 全体として、適切に正則化されたモデルは、追加コストがほとんどなく、より強力または同等の堅牢性と不確実性の性能を提供する。今後の研究で強いベースラインであるべきことを示唆する。