[論文レビュー] Heteroscedastic Calibration of Uncertainty Estimators in Deep Learning

Bindya Venkatesh, Jayaraman J. Thiagarajan|arXiv (Cornell University)|Oct 30, 2019

Adversarial Robustness in Machine Learning参考文献 20被引用数 5

ひとこと要約

本論文では、異分散回帰の目的関数を補助的指標として再利用することで、任意の既存の不確実性推定器（例：モンテカルロドロップアウトや分位数ベース手法）が、後処理の再キャリブレーションを必要とせず、本質的にキャリブレートされた予測区間を生成できる単一スホットキャリブレーション手法を提案する。このアプローチにより、ベンチマーク回帰データセット全体でキャリブレーション性能と平均予測精度の両方が向上する。

ABSTRACT

The role of uncertainty quantification (UQ) in deep learning has become crucial with growing use of predictive models in high-risk applications. Though a large class of methods exists for measuring deep uncertainties, in practice, the resulting estimates are found to be poorly calibrated, thus making it challenging to translate them into actionable insights. A common workaround is to utilize a separate recalibration step, which adjusts the estimates to compensate for the miscalibration. Instead, we propose to repurpose the heteroscedastic regression objective as a surrogate for calibration and enable any existing uncertainty estimator to be inherently calibrated. In addition to eliminating the need for recalibration, this also regularizes the training process. Using regression experiments, we demonstrate the effectiveness of the proposed heteroscedastic calibration with two popular uncertainty estimators.

研究の動機と目的

• 深層学習における不確実性推定器のキャリブレーション不良を是正すること、特に医療や自動運転などの高リスク分野での応用を想定すること。
• 先行研究で示されたように、別個の再キャリブレーション手順を必要とせず、不確実性推定値が意味を失う可能性があることを解消すること。
• 任意の既存の不確実性推定器が、トレーニング中に暗黙のキャリブレーションを経て、良好にキャリブレートされた予測区間を生成できるようにすること。
• トレーニングプロセスを正則化することで、不確実性のキャリブレーションと平均予測精度の両方を向上させること。
• エピステミックおよびアレアトリック不確実性推定器を用いた、多様な回帰ベンチマーク上での手法の有効性を示すこと。

提案手法

• 任意の既存推定器からの不確実性推定値をモデル予測分散の代わりに用いることで、異分散回帰の目的関数をキャリブレーションの補助的指標として再利用する。
• 推定不確実性（例：MCドロップアウトや分位数ネットワークからのもの）を損失関数における分散項として用い、ガウス尤度の目的関数を最適化する。
• MCドロップアウトの場合、M回の順方向伝搬における平均と分散を計算し、それらを用いて異分散損失を算出する。
• 分位数ベース不確実性の場合、上側（τᵘ=0.9）および下側（τˡ=0.1）分位数を予測するようにモデルを学習し、標準偏差を (ŷᵘ − ŷˡ)/2 として推定する。
• 異分散損失と分位数予測損失を重み付き和で同時に最適化する：λ_H·L_HNN + λ_u·L_τᵘ + λ_l·L_τˡ。
• 1回のトレーニングプロセスで、正確な平均予測と良好にキャリブレートされた予測区間の両方を達成し、後処理の再キャリブレーションを回避する。

実験結果

リサーチクエスチョン

• RQ1 異分散回帰の目的関数をキャリブレーションの補助的指標として再利用することで、本質的にキャリブレートされた不確実性推定が可能になるか？
• RQ2 ベースライン推定器が著しくキャリブレート不良であっても、別個の再キャリブレーション手順を必要とせず、キャリブレーション性能が向上するか？
• RQ3 MCドロップアウトや分位数ベース手法などの異なる不確実性推定器に対して、このアプローチはどのように性能を示すか？
• RQ4 異分散目的関数による暗黙のキャリブレーションが、より良い正則化をもたらし、平均予測精度を向上させるか？
• RQ5 ドロップアウト率pなどのハイパーパrameterの選択に対して、標準的なMCドロップアウトと比較して、この手法はどれほど頑健か？

主な発見

• 提案手法のDropout-HCおよびQuantile-HCは、期待値と達成値のキャリブレーションレベルのプロットが対角線に極めて近接しており、ほぼ完全なキャリブレーションを達成している。
• 両手法とも、全8つのUCI回帰データセットにおいて、ベースラインのMCドロップアウトおよびHNNと比較して、キャリブレーション誤差（CE）を顕著に低減している。
• Dropout-HCはドロップアウト率pの変更に対して頑健であるのに対し、標準的なMCドロップアウトはpの値の変更に伴いキャリブレーション誤差に著しい変動を示す。
• 異分散キャリブレーションにより、同じp値でも、標準的なMCドロップアウトと比較して、不確実性推定値（σ）の分布がより重たい尾部を持つようになる。
• 全データセットでRMSEが低く抑えられていることから、トレーニング中のより良い正則化が実現されており、平均予測精度が向上していることが裏付けられている。
• 異分散損失と分位数損失の共同最適化により、正確な区間推定が可能でありながら、強力なキャリブレーション性能を維持している。