[論文レビュー] RegMixup: Mixup as a Regularizer Can Surprisingly Improve Accuracy and Out Distribution Robustness

Francesco Pinto, Harry Yang+3 more|arXiv (Cornell University)|Jun 29, 2022

Anomaly Detection Techniques and Applications被引用数 14

ひとこと要約

RegMixupは、標準的な交差エントロピー損失と併せてMixupを正則化子として使用する単純ながら効果的な手法を提案する。これにより、モデルの精度、不確実性推定、分布外（OOD）に対するロバストネスが顕著に向上する。Empirical Risk Minimization（ERM）とVicinal Risk Minimization（VRM）を組み合わせることで、Mixupがすべての入力に対して高エントロピーの予測を生じがちであるという問題を緩和し、ImageNet、CIFAR-10/100、およびさまざまな分布シフトおよびOOD検出ベンチマークで優れた性能を達成する。

ABSTRACT

We show that the effectiveness of the well celebrated Mixup [Zhang et al., 2018] can be further improved if instead of using it as the sole learning objective, it is utilized as an additional regularizer to the standard cross-entropy loss. This simple change not only provides much improved accuracy but also significantly improves the quality of the predictive uncertainty estimation of Mixup in most cases under various forms of covariate shifts and out-of-distribution detection experiments. In fact, we observe that Mixup yields much degraded performance on detecting out-of-distribution samples possibly, as we show empirically, because of its tendency to learn models that exhibit high-entropy throughout; making it difficult to differentiate in-distribution samples from out-distribution ones. To show the efficacy of our approach (RegMixup), we provide thorough analyses and experiments on vision datasets (ImageNet & CIFAR-10/100) and compare it with a suite of recent approaches for reliable uncertainty estimation.

研究の動機と目的

• 標準的なMixupが一様に高い予測エントロピーを生じがちなため、その分布外（OOD）検出性能の悪さを是正すること。
• 分布内精度を損なうことなく、共変量シフトおよびOODシナリオにおける不確実性推定とロバストネスを向上させること。
• 複雑なアンサンブルや不確実性に配慮したモデルを凌駕する、単純で効率的かつアーキテクチャに依存しない手法を開発すること。
• ハイブリッド学習目的を通じてMixupと標準的な交差エントロピー損失を組み合わせることで、一般化性能と信頼性が向上することを示すこと。
• 実世界の展開環境においてMixupの信頼性を顕著に向上させる、最小限の変更で実現可能な手法を提供すること。

提案手法

• RegMixupは、クリーンなサンプルに対する標準的な交差エントロピー損失と、補間されたサンプルに対するMixupベースの損失を組み合わせた損失関数でモデルを訓練する。
• 真のデータ分布に近づけるために、Empirical Risk Minimization（ERM）とVicinal Risk Minimization（VRM）の目的関数を明示的に組み合わせる。
• 各訓練バッチに対して、元の入力における交差エントロピー損失と、補間された入力におけるMixup損失の重み付き平均をモデルが計算する。
• 補間係数λは、Beta(α, α)分布からサンプリングされ、両方の損失の合計を最小化するようにモデルを訓練する。
• アーキテクチャの変更は不要で、追加パラメータも不要であり、あらゆるディープラーニングモデルと互換性がある。
• 本手法は、ImageNet-1K、CIFAR-10/100、およびそれらの共変量シフトバージョンに加え、複数のベンチマークデータセットにおけるOOD検出を含め、複数のデータセットで評価されている。

実験結果

リサーチクエスチョン

• RQ1 Mixupを正則化子として改善することで、分布内精度と分布外（OOD）ロバストネスの両方を向上させられるか？
• RQ2 標準的なMixupがなぜ分布内と分布外のサンプルを区別できないのか、その理由は何か。そして、これを是正できるか？
• RQ3 Mixupと標準的な交差エントロピー損失を組み合わせることで、単独でMixupを使用する場合よりも優れた不確実性推定が得られるか？
• RQ4 単一のモデルで、高価なディープアンサンブルを凌駕することができる、単純な非アンサンブル手法は存在するか？
• RQ5 SNGP や DUQ といった最先端手法と比較して、RegMixupは精度および不確実性キャリブレーションの観点でどのように差をつけるか？

主な発見

• RegMixupは、ImageNet-1K、CIFAR-10/100、およびそれらの共変量シフトバージョンにおいて、最先端の性能を達成し、標準的なMixupおよび最近のSOTA手法を上回っている。
• 共変量シフトを伴うCIFAR-100では、83.92%の精度と55.50%のAUROCを達成し、CutMix（80.21%と45.23%）およびRegCutMix（79.07%と44.64%）を上回っている。
• SVHNのOOD検出では、90.23%のAUROCを達成し、ViT-Mixup+CutMix（85.36%）およびViT-RegMixup+CutMix（86.44%）を顕著に上回っている。
• ResNet50を用いたCIFAR-10では、97.47%の精度と79.10%のAUROCを達成し、Mixup+CutMix（97.23%と77.60%）およびViT-RegMixup+RegCutMix（96.47%と75.36%）を上回っている。
• 複数のベンチマークにおいて、RegMixupは、単一の決定的モデルであるにもかかわらず、ディープアンサンブルを常に上回るOOD検出性能を示している。
• 本手法は、モデルがすべての入力に対して高エントロピーを割り当てる傾向を顕著に低減し、分布内と分布外のサンプルの区別をより良く可能にしている。