[論文レビュー] An Uncertainty-aware Loss Function for Training Neural Networks with Calibrated Predictions

Afshar Shamsi, Hamzeh Asgharnezhad+3 more|arXiv (Cornell University)|Oct 7, 2021

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本論文は、交差エントロピーと期待キャリブレーションエラー（ECE）または予測エントロピー（PE）を組み合わせた、二つの新しい不確実性に配慮した損失関数を提案する。これらは、モンテカルロドロップアウト（MC-Dropout）ネットワークを訓練し、キャリブレーションされた不確実性予測を実現する。この手法は、正解予測と誤り予測の不確実性分布の重複を顕著に低減し、正確性を損なわず、安全性が求められる応用分野における信頼性を向上させる。

ABSTRACT

Uncertainty quantification of machine learning and deep learning methods plays an important role in enhancing trust to the obtained result. In recent years, a numerous number of uncertainty quantification methods have been introduced. Monte Carlo dropout (MC-Dropout) is one of the most well-known techniques to quantify uncertainty in deep learning methods. In this study, we propose two new loss functions by combining cross entropy with Expected Calibration Error (ECE) and Predictive Entropy (PE). The obtained results clearly show that the new proposed loss functions lead to having a calibrated MC-Dropout method. Our results confirmed the great impact of the new hybrid loss functions for minimising the overlap between the distributions of uncertainty estimates for correct and incorrect predictions without sacrificing the model's overall performance.

研究の動機と目的

• 深層学習モデルにおけるキャリブレーションされた不確実性予測の欠如、特に医療診断や自動運転などの安全性が求められる分野においての課題を解決すること。
• 正解予測と誤り予測の不確実性分布の重複を低減し、危険な出力をよりよく検出可能にする。
• モデルの正確性を損なわず、モンテカルロドロップアウト（MC-Dropout）のキャリブレーションを向上させること。
• 誤った予測に対して高い不確実性推定値を自動的に生成できるように、ニューラルネットワークのトレーニングフレームワークを開発すること。

提案手法

• 交差エントロピーと期待キャリブレーションエラー（ECE）を組み合わせたハイブリッド損失関数を提案し、予測の不正確さを最小限に抑える。
• 交差エントロピーと予測エントロピー（PE）を組み合わせた第二のハイブリッド損失関数を導入し、不確実性の分離を強化する。
• 不確実性の定量化にモンテカルロドロップアウトを用い、推論時に確率的順方向伝搬を実行して予測不確実性を推定する。
• 正確性（交差エントロピーによる）とキャリブレーション（ECEまたはPEによる）を同時に最適化する多目的トレーニングアプローチを採用する。
• 新しい損失関数をトレーニング中に適用し、正解予測では低不確実性、誤り予測では高不確実性を促進する。
• 妥当性を確保するため、二つの合成データセット（two-moon および blob）を用い、繰り返しランダム分割を実施して検証を実施する。

実験結果

リサーチクエスチョン

• RQ1 交差エントロピーとECEを組み合わせることで、モンテカルロドロップアウトの予測キャリブレーションが向上するか？
• RQ2 交差エントロピーと予測エントロピー（PE）を組み合わせることで、正解予測と誤り予測の不確実性分布の分離が向上するか？
• RQ3 提案された損失関数は、不確実性キャリブレーションを向上させる一方で、モデルの正確性を維持または向上させるか？
• RQ4 標準的なMC-Dropoutおよびアンサンブル手法と比較して、提案手法は不確実性の分離性とキャリブレーションにおいて優れているか？

主な発見

• 予測エントロピーに基づく損失関数でトレーニングされたMC-Dropoutモデルは、正解予測と誤り予測の平均不確実性の間隔が最大（0.401）を記録し、優れた分離性を示した。
• ECEに基づく損失関数は、標準的なMC-Dropoutと比較して、両方のデータセットでキャリブレーション誤差をより効果的に低減した。
• PEに基づく損失関数は、正解予測に対して最小の不確実性（μ₁ = 0.069%）と、誤り予測に対して最大の不確実性（μ₂ = 0.470%）を達成し、重複を最小限に抑えた。
• 提案手法は高い正確性（PEに基づく損失では98.333%）を維持しており、標準的なMC-Dropout（98.333%）と同等であり、ECEに基づく損失ではわずかに向上（98.667%）を記録した。
• 不確実性に配慮した（UA）スコアは、PEに基づく損失関数が、特にアレアトリックノイズの増加に伴って不確実性を最もよく捉えていた。
• ECEプロットは、両方の提案損失関数が、両方のデータセットおよびノイズレベルにおいて一貫して低いキャリブレーション誤差を示したことを確認した。