[論文レビュー] A New Perspective on Uncertainty Quantification of Deep Ensembles

Hu Shi, Nicola Pezzotti+1 more|arXiv (Cornell University)|Feb 13, 2020

Statistical Methods and Inference参考文献 48被引用数 6

ひとこと要約

本稿では、2段階のディープアンサンブル手法を提案し、2番目のニューラルネットワークを用いて予測誤差を別個にモデル化することで、不確実性の定量化を向上させ、より良い正則化制御とより正確なアレアトリック不確実性推定を実現する。合成データおよびMRIデータ上で評価された結果、標準的なディープアンサンブル法やドロップアウトに基づく手法を著しく上回った。

ABSTRACT

We present a novel perspective on uncertainty quantification in deep learning, based on the bias-variance decomposition of ensembles. We argue that the existing uncertainty estimation methods are suboptimal in estimating the prediction error of an ensemble, and propose a new two-stage procedure instead, where in the first stage we estimate the unknown function using an ensemble, and in the second stage we fit a separate neural net to the errors of the first model. We argue that this has several advantages, among which better control over regularization such as early stopping, and a more accurate approximation to the aleatoric uncertainty. We extensively test our method on both synthetic as well as real world MRI data, and find that our method significantly improves uncertainty estimates compared to various alternatives such as dropout and deep ensemble based methods.

研究の動機と目的

• 既存のディープアンサンブル手法における不確実性推定の非最適性を解消すること。
• アンサンブルモデルにおける早期停止などの正則化技術の制御を向上させること。
• 予測誤差におけるアレアトリック不確実性のより正確な近似を提供すること。
• 関数近似と誤差モデリングを分離することで、不確実性のキャリブレーションを向上させる手法を開発すること。

提案手法

• 第1段階では、入力データから未知の基本関数をディープアンサンブルで推定する。
• 第2段階では、第1段階のアンサンブルモデルの誤差を予測する別個のニューラルネットワークを訓練する。
• 誤差モデルは、予測誤差と実際の誤差の乖離を最小化する損失関数を用いて最適化される。
• この2段階のアプローチにより、関数学習と誤差モデリングが分離され、より良い正則化制御が可能になる。
• この手法により、予測誤差を明示的にモデル化することで、アレアトリック不確実性のより正確な推定が可能になる。

実験結果

リサーチクエスチョン

• RQ1 予測誤差の構造的分解を通じて、ディープアンサンブルにおける不確実性定量化をどのように改善できるか？
• RQ2 誤差モデリングを関数近似から分離することで、不確実性キャリブレーションはどの程度向上するか？
• RQ3 提案手法は、標準的なアンサンブル学習と比較して、より良い正則化制御を達成できるか？
• RQ4 ドロップアウト法および標準的なディープアンサンブル手法と比較して、本手法はアレアトリック不確実性推定においてどのように優れているか？

主な発見

• 提案された2段階手法は、合成データおよび実世界のMRIデータの両方において、ベースライン手法と比較して不確実性推定を著しく改善した。
• 誤差モデルの訓練が分離されているため、特に早期停止において正則化の制御がより良好になった。
• 予測誤差を明示的にモデル化することで、アレアトリック不確実性のより正確な近似が可能になった。
• キャリブレーションおよび予測不確実性の質の観点で、標準的なディープアンサンブル法やドロップアウトベースの不確実性推定を上回った。