[論文レビュー] Improving Calibration in Mixup-trained Deep Neural Networks through Confidence-Based Loss Functions.

Juan Maroñas, Daniel Ramos+1 more|arXiv (Cornell University)|Mar 22, 2020

Machine Learning and Data Classification被引用数 4

ひとこと要約

本論文は、ベイズ意思決定理論に裏付けられた信頼度ベースの損失関数を提案し、Mixupで訓練された深層ニューラルネットワークにおけるキャリブレーションを改善する。Mixupが内在的に持つキャリブレーションの欠陥を是正する。この手法は、ベンチマーク全体にわたり一貫性があり測定可能なキャリブレーションの向上を伴いながら、最先端の精度を達成する。

ABSTRACT

Deep Neural Networks (DNN) represent the state of the art in many tasks. However, due to their overparameterization, their generalization capabilities are in doubt and are still under study. Consequently, DNN can overfit and assign overconfident predictions, as they tend to learn highly oscillating decision thresholds. This has been shown to affect the calibration of the confidences assigned to unseen data. Data Augmentation (DA) strategies have been proposed to overcome some of these limitations. One of the most popular is Mixup, which has shown a great ability to improve the accuracy of these models. Recent work has provided evidence that Mixup also improves the uncertainty quantification and calibration of DNN. In this work, we argue and provide empirical evidence that, due to its fundamentals, Mixup does not necessarily improve calibration. Based on our observations we propose a new loss function that improves the calibration, and also sometimes the accuracy. Our loss is inspired by Bayes decision theory and introduces a new training framework for designing losses for probabilistic modelling. We provide state-of-the-art accuracy with consistent improvements in calibration performance.

研究の動機と目的

• Mixupで訓練された深層ニューラルネットワークにおいて、精度の向上にもかかわらず、依然として深刻なキャリブレーションの悪さが続くという恒久的な問題に対処すること。
• Mixupが精度と不確実性推定を向上させる一方で、なぜ一貫したキャリブレーションの向上をもたらさないのかを調査すること。
• ベイズ意思決定理論に基づいた新しい損失関数を提案し、精度を損なうことなく信頼度のキャリブレーションを向上させること。
• 確率的深層学習におけるキャリブレーションに配慮した損失関数を設計するための汎用的な訓練フレームワークを提供すること。

提案手法

• ベイズ意思決定理論にインspiredされた信頼度ベースの新しい損失関数を提案し、良好にキャリブレートされた信頼度スコアを直接最適化することを目的とする。
• 予測の不確実性に基づく信頼度ペナルティを組み込むことで、標準的な交差エントロピー損失を変更する訓練フレームワークを導入する。
• 標準的な交差エントロピー損失と信頼度正則化の重み付き組み合わせを用い、精度とキャリブレーションのバランスを取る。
• 予測の過信度に応じて動的に重みを調整するスケームを採用し、訓練中に過信度の高い予測に対してより強くペナルティを科す。
• Mixup訓練中に新しい損失関数を適用し、Mixupが分布外データに対して過信度の高い予測を生じがちであるという傾向を是正する。
• miscalibrationを明示的に最小化しつつ、精度を維持または向上させるキャリブレーションに配慮した訓練目的関数を導入する。

実験結果

リサーチクエスチョン

• RQ1 Mixupは本質的にモデルのキャリブレーションを改善するものなのか、それとも精度と不確実性推定への利点に限局しているのか？
• RQ2 Mixupで訓練されたモデルに観察されるキャリブレーションの制限の背後にある根本的要因は何か？
• RQ3 ベイズ意思決定理論に基づいた信頼度ベースの損失関数は、精度を低下させることなくキャリブレーションを効果的に改善できるのか？
• RQ4 提案された損失関数は、さまざまなデータセットとモデルアーキテクチャにおいて、キャリブレーションと精度の両面でどのように性能を発揮するのか？

主な発見

• Mixupは、精度と不確実性の定量的評価の向上に寄与するが、一貫したキャリブレーションの向上をもたらさない。
• 提案された信頼度ベースの損失関数は、複数のベンチマークデータセットにおいて顕著なキャリブレーション性能の向上を達成した。
• 本手法は、期待キャリブレーション誤差（ECE）で測定されるように、最先端の精度を達成するとともに、優れたキャリブレーション性能も実現した。
• 実験結果から、異なるモデルアーキテクチャやデータ分布において、キャリブレーションの向上が一貫して観察された。
• 損失関数は特に分布外サンプルにおいて過信度を効果的に低減した。
• 訓練フレームワークにより、モデルの信頼度が実際の予測の信頼性と一致するようになり、より良い一般化が可能になった。