[論文レビュー] Improving MC-Dropout Uncertainty Estimates with Calibration Error-based Optimization.

Afshar Shamsi Jokandan, Hamzeh Asgharnezhad+5 more|arXiv (Cornell University)|Oct 7, 2021

Adversarial Robustness in Machine Learning参考文献 48被引用数 10

ひとこと要約

本論文は、モンテカルロドロップアウト（MC-Dropout）における不確実性のキャリブレーションを向上させるために、交差エントロピーと期待キャリブレーション誤差（ECE）および予測エントロピー（PE）を組み合わせた2つの新しいハイブリッド損失関数を提案する。この手法は、正解と不正解の予測における不確実性分布の重なりを低減することで不確実性推定を向上させ、モデルの精度を損なわずに、よりキャリブレートされた不確実性評価を実現する。

ABSTRACT

Uncertainty quantification of machine learning and deep learning methods plays an important role in enhancing trust to the obtained result. In recent years, a numerous number of uncertainty quantification methods have been introduced. Monte Carlo dropout (MC-Dropout) is one of the most well-known techniques to quantify uncertainty in deep learning methods. In this study, we propose two new loss functions by combining cross entropy with Expected Calibration Error (ECE) and Predictive Entropy (PE). The obtained results clearly show that the new proposed loss functions lead to having a calibrated MC-Dropout method. Our results confirmed the great impact of the new hybrid loss functions for minimising the overlap between the distributions of uncertainty estimates for correct and incorrect predictions without sacrificing the model's overall performance.

研究の動機と目的

• MC-Dropoutにおける不確実性推定のキャリブレーションが不十分である問題に対処し、実世界の応用におけるモデルの信頼性を向上させること。
• 不良なキャリブレーションの主要な指標である、正解と不正解の予測における不確実性分布の重なりを低減すること。
• 不確実性キャリブレーションを向上させつつ、モデルのパフォーマンスを維持または向上させること。
• 深層学習モデルにおける不確実性キャリブレーションを明示的に最適化する新しい損失関数の開発

提案手法

• 交差エントロピーと期待キャリブレーション誤差（ECE）および予測エントロピー（PE）を組み合わせることで、2つの新しい損失関数を提案し、モデル学習をガイドする。
• ECEをキャリブレーション指標として用い、学習中にキャリブレーションの不備をペナルティ化することで、予測された信頼度と正答率の整合性を高める。
• 予測エントロピーを統合することで、予測全体における不確実性推定の多様性と情報量を高める。
• ハイブリッド損失関数を用いてMC-Dropoutモデルを学習し、不確実性キャリブレーションのエンドツーエンド最適化を可能にする。
• 推論時にモンテカルロサンプリングを用いてエピステミック不確実性を推定し、新しい損失関数のおかげでキャリブレーションが向上する。
• 組み合わせた損失目的を通じて、予測精度と不確実性キャリブレーションのトレードオフを最適化する。

実験結果

リサーチクエスチョン

• RQ1 交差エントロピーとECEおよびPEを組み合わせることで、MC-Dropoutにおける不確実性推定のキャリブレーションが向上するか？
• RQ2 提案されたハイブリッド損失関数は、正解と不正解の予測における不確実性分布の重なりを低減するか？
• RQ3 新しい手法は、不確実性キャリブレーションを向上させる一方で、モデルの精度をどの程度維持または向上させるか？
• RQ4 ECEおよびPEの各成分は、個別および共同して不確実性評価の向上にどのように寄与するか？

主な発見

• 提案されたハイブリッド損失関数は、正解と不正解の予測における不確実性分布の重なりを最小化することで、MC-Dropoutのキャリブレーションを顕著に向上させる。
• モデルの全体的な予測パフォーマンスを損なわせることなく、よりキャリブレートされた不確実性推定を達成する。
• ECEとPEを損失関数に統合することで、特に分布外検出において信頼性の高い信頼度推定が可能になる。
• 結果から、ECEとPEを用いた明示的な最適化が、深層学習モデルにおける不確実性評価の信頼性を高めることを確認した。
• 新しい損失関数は、標準的なMC-Dropout学習で一般的に見られるキャリブレーションの不備を効果的に低減する。
• 不確実性キャリブレーションは、ターゲットを絞った損失関数設計によって体系的に改善可能であることが、本手法によって示された。