[論文レビュー] NoisyMix: Boosting Model Robustness to Common Corruptions

N. Benjamin Erichson, Soon Hoe Lim+4 more|arXiv (Cornell University)|Feb 2, 2022

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

NoisyMixは、入力空間および特徴空間に制御されたノイズを注入することで、一般的なデータの汚損およびドメインシフトに対して深層ニューラルネットワークのロバスト性を向上させる、革新的なデータ拡張訓練方式である。ImageNet-C、ImageNet-R、CIFAR-10-Cにおいて最先端の性能を達成し、標準のAugMixと比較してロバスト精度を4%以上向上させつつ、同等のドメイン内精度および学習コストを維持している。

ABSTRACT

For many real-world applications, obtaining stable and robust statistical performance is more important than simply achieving state-of-the-art predictive test accuracy, and thus robustness of neural networks is an increasingly important topic. Relatedly, data augmentation schemes have been shown to improve robustness with respect to input perturbations and domain shifts. Motivated by this, we introduce NoisyMix, a novel training scheme that promotes stability as well as leverages noisy augmentations in input and feature space to improve both model robustness and in-domain accuracy. NoisyMix produces models that are consistently more robust and that provide well-calibrated estimates of class membership probabilities. We demonstrate the benefits of NoisyMix on a range of benchmark datasets, including ImageNet-C, ImageNet-R, and ImageNet-P. Moreover, we provide theory to understand implicit regularization and robustness of NoisyMix.

研究の動機と目的

• 実世界の応用において、一般的なデータの汚損およびドメインシフトに対して深層ニューラルネットワークのロバスト性を向上させること。
• 計算効率を損なわせることなく、ロバスト性とドメイン内精度の両方を向上させる訓練方式を開発すること。
• 提案手法の暗黙的正則化効果について理論的裏付けを提供すること。
• NoisyMixが入力摂動下でのモデルのキャリブレーションおよび安定性を向上させることを示すこと。
• NoisyMixがベンチマークの汚損およびドメインシフトデータセットにおいて、敵対的訓練および既存のデータ拡張手法を上回ることを示すこと。

提案手法

• NoisyMixは、ミックスアップ風の補間と、入力空間および特徴空間への制御されたノイズ注入を組み合わせたハイブリッドデータ拡張戦略を導入する。
• 確率的補間スキームとして、$ M_{\lambda}(a,b) = \lambda a + (1-\lambda)b $ が定義され、ここで $ \lambda \sim \text{Beta}(\alpha, \alpha) $ であり、入力画像および中間特徴マップの両方にノイズが適用される。
• ノイズは、学習中に加法的ガウス分布または一様分布の摂動として注入され、温度に類似したハイパーパrameterによって強度が調整される。
• 理論的分析を通じて、敵対的損失の上界、安定性目的関数、およびデータ依存正則化項の最小化という形で、暗黙的正則化を活用する。
• 学習プロセスは、標準のミックスアップおよびAugMixと同等の計算コストを維持しており、効率的なデプロイメントを可能にする。
• フレームワークは、ResNet-50、ResNet-18、Wide-ResNet-28x2アーキテクチャを用いて、ImageNet-C、ImageNet-R、CIFAR-10-Cで評価されている。

実験結果

リサーチクエスチョン

• RQ1 ミックスアップと制御されたノイズ注入を組み合わせたデータ拡張方式は、一般的な汚損およびドメインシフトに対してロバスト性を向上させることができるか？
• RQ2 敵対的訓練およびAugMixなどの最先端の拡張手法と比較して、NoisyMixのロバスト性およびドメイン内精度はどのように異なるか？
• RQ3 NoisyMixが示す向上したロバスト性の理論的根拠、特に暗黙的正則化の観点から何が成り立っているか？
• RQ4 NoisyMixは、多様な汚損タイプにおいて、より良好な不確実性推定および低い摂動反転率を達成するか？
• RQ5 NoisyMixは、ImageNetおよびCIFARなどの異なるアーキテクチャおよびデータセットに一般化可能か？

主な発見

• NoisyMixは、AugMixと比較してImageNet-Cにおけるロバスト精度を4%以上向上させ、評価されたすべての手法の中で最高のパフォーマンスを達成した。
• ImageNet-Rでは、すべての汚損タイプにおいて平均反転率が28.5（最低）であり、AugMix（37.6）およびベースラインモデルを著しく上回った。
• CIFAR-10-Pでは、ResNet-18で平均反転率が1.9、Wide-ResNet-28x2で1.7に低下し、AugMixと比較してそれぞれ約1%および5%の安定性向上を達成した。
• クリーンなImageNet検証セットにおけるドメイン内精度は、同等の水準を維持しており、ロバスト性と通常の精度のトレードオフがないことを示している。
• 理論的分析により、NoisyMix損失の最小化が、敵対的損失の上界、安定性目的関数、およびデータ依存正則化項の最小化に対応することが示され、そのロバスト性の裏付けが得られた。
• 敵対的訓練には知られている低周波数汚損に対する限界があるにもかかわらず、NoisyMixはImageNet-Cにおいて敵対的訓練を上回った。これは、ロバスト性の多面的性質を示している。