[論文レビュー] When and How Mixup Improves Calibration

Linjun Zhang, Zhun Deng+2 more|arXiv (Cornell University)|Feb 11, 2021

Adversarial Robustness in Machine Learning参考文献 43被引用数 8

ひとこと要約

この論文は、高次元設定におけるモデルのキャリブレーション向上の理由を理論的に説明しており、モデル容量が大きいほどそのキャリブレーション効果が向上することを示している。理論的に、Mixupが教師あり学習および半教師あり学習の両方で期待キャリブレーション誤差（ECE）と最大キャリブレーション誤差（MCE）を低減することを証明し、特に幅広いまたは深く層の多いネットワークにおいて顕著である。ガウス生成モデルを用いて理論的分析を行い、CIFAR-10/100およびMNISTデータセットにおける実験的検証も実施している。

ABSTRACT

In many machine learning applications, it is important for the model to provide confidence scores that accurately capture its prediction uncertainty. Although modern learning methods have achieved great success in predictive accuracy, generating calibrated confidence scores remains a major challenge. Mixup, a popular yet simple data augmentation technique based on taking convex combinations of pairs of training examples, has been empirically found to significantly improve confidence calibration across diverse applications. However, when and how Mixup helps calibration is still a mystery. In this paper, we theoretically prove that Mixup improves calibration in extit{high-dimensional} settings by investigating natural statistical models. Interestingly, the calibration benefit of Mixup increases as the model capacity increases. We support our theories with experiments on common architectures and datasets. In addition, we study how Mixup improves calibration in semi-supervised learning. While incorporating unlabeled data can sometimes make the model less calibrated, adding Mixup training mitigates this issue and provably improves calibration. Our analysis provides new insights and a framework to understand Mixup and calibration.

研究の動機と目的

• 高次元設定において、Mixupがモデルキャリブレーションをどのように改善するか、特にモデル容量が大きい場合のメカニズムを理解すること。
• pseudoラベル化によるキャリブレーション劣化を緩和するという観点から、Mixupが半教師あり学習における役割を分析すること。
• 期待キャリブレーション誤差（ECE）からの理論的分析を最大キャリブレーション誤差（MCE）へと拡張し、一貫した改善が得られることを確認すること。
• Mixupの暗黙的正則化と改善された不確実性評価の間の理論的枠組みを提供すること。
• 実験的に、Mixupによるキャリブレーション向上が、特に深く幅広いニューラルネットワークにおいて顕著であることを検証すること。

提案手法

• ガウス生成モデルを用いた理論的分析を行い、データをガウス確率的変数の非線形変換としてモデル化する。
• 高次元領域における期待損失とキャリブレーション誤差を分析することで、MixupがECEを低減する条件を導出する。
• 変分的手法を用いて、Mixup下での最適な意思決定境界を特徴づけ、滑らかでより良いキャリブレーションを持つ予測が得られることを示す。
• 理論的結果を最大キャリブレーション誤差（MCE）へと拡張し、同様の改善が得られることを示す。
• 全結合ネットワークおよびプリアクティベーションResNet-18を用いて、CIFAR-10、CIFAR-100、Fashion-MNIST、Kuzushiji-MNISTデータセットで実験的検証を実施する。
• モデルの幅と深さを変化させ、Beta(1,1)分布を用いたMixupを適用し、ECEおよびMCE指標を用いてキャリブレーションを比較する。

実験結果

リサーチクエスチョン

• RQ1 高次元設定において、どのような条件下でMixupがモデルキャリブレーションを改善するのか？
• RQ2 なぜMixupのキャリブレーション効果は、特に深く幅広いネットワークにおいてモデル容量が増大するにつれて向上するのか？
• RQ3 pseudoラベル化と組み合わせた半教師あり学習において、Mixupはキャリブレーションにどのように影響を与えるか？
• RQ4 ECEにおけるMixupの理論的利点を最大キャリブレーション誤差（MCE）へと拡張できるか？
• RQ5 Mixupは、半教師あり学習における未ラベルデータの使用に伴いよく見られるキャリブレーション劣化を緩和するのか？

主な発見

• Mixupは高次元設定において期待キャリブレーション誤差（ECE）を顕著に低減し、特に幅広いまたは深く層の多いニューラルネットワークにおいて顕著である。
• 理論的およびCIFAR-10およびCIFAR-100における実験的検証により、Mixupによるキャリブレーション改善はモデル容量が増大するにつれて顕著になることが示された。
• 半教師あり学習において、Mixupはpseudoラベル化による負のキャリブレーション効果を相殺し、あらゆるデータセットで一貫してキャリブレーションを向上させた。
• 理論的分析により、MixupがMCEの低減も確認され、高次元領域においてECEと同様の傾向が観察された。
• 実験的結果から、Mixupは特にデータ拡張を伴う大規模な容量のモデルにおいて、テスト損失とキャリブレーション誤差の両方をより効果的に低減することが分かった。
• 理論的分析により、キャリブレーションの向上は、Mixupの暗黙的正則化に起因し、滑らかな意思決定境界とより良い不確実性推定をもたらすことが示された。