[論文レビュー] Dense Uncertainty Estimation

Jing Zhang, Yuchao Dai+8 more|arXiv (Cornell University)|Oct 13, 2021

Adversarial Robustness in Machine Learning参考文献 121被引用数 10

ひとこと要約

本論文は、深層学習における密度的な不確実性推定のための統一フレームワークを提案する。エピステミック不確実性の推定にアンサンブル法を、アレアトリック不確実性の推定に生成モデルを組み合わせることで、良好にキャリブレーションされたピクセル単位の信頼度マップを実現する。この手法は、予測精度を損なうことなくモデルのキャリブレーション性能と分布外検出性能を向上させ、不確実性を考慮した推論を用いたセグメンテーションおよび分類ベンチマークにおいて最先端の性能を示している。

ABSTRACT

Deep neural networks can be roughly divided into deterministic neural networks and stochastic neural networks.The former is usually trained to achieve a mapping from input space to output space via maximum likelihood estimation for the weights, which leads to deterministic predictions during testing. In this way, a specific weights set is estimated while ignoring any uncertainty that may occur in the proper weight space. The latter introduces randomness into the framework, either by assuming a prior distribution over model parameters (i.e. Bayesian Neural Networks) or including latent variables (i.e. generative models) to explore the contribution of latent variables for model predictions, leading to stochastic predictions during testing. Different from the former that achieves point estimation, the latter aims to estimate the prediction distribution, making it possible to estimate uncertainty, representing model ignorance about its predictions. We claim that conventional deterministic neural network based dense prediction tasks are prone to overfitting, leading to over-confident predictions, which is undesirable for decision making. In this paper, we investigate stochastic neural networks and uncertainty estimation techniques to achieve both accurate deterministic prediction and reliable uncertainty estimation. Specifically, we work on two types of uncertainty estimations solutions, namely ensemble based methods and generative model based methods, and explain their pros and cons while using them in fully/semi/weakly-supervised framework. Due to the close connection between uncertainty estimation and model calibration, we also introduce how uncertainty estimation can be used for deep model calibration to achieve well-calibrated models, namely dense model calibration. Code and data are available at https://github.com/JingZhang617/UncertaintyEstimation.

研究の動機と目的

• 意味的セグメンテーションや画像分類などの密度的予測タスクに用いられる決定的深層ニューラルネットワークにおける過信問題に対処すること。
• 不確実性推定を完全教師あり、半教師あり、弱教師ありの学習フレームワークに統合し、モデルの信頼性を向上させること。
• 不確実性マップを信頼度調整のガイドとして用いることで、密度的モデルキャリブレーションのための統一フレームワークを構築すること。
• 不確実性を考慮した予測を用いて、モデルのキャリブレーション性能と分布外検出性能を評価すること。
• 再現可能性および不確実性推定分野におけるさらなる研究を支援するため、オープンソースのコードとデータセットを提供すること。

提案手法

• 複数の独立したモデルを学習し、その予測を統合することで、エピステミック不確実性を推定する深層アンサンブル法を用いる。
• 変分オートエンコーダ（VAE）やフローベースのモデルなどの生成モデルを用い、ラベルノイズとデータ分布をモデル化することで、アレアトリック不確実性を推定する。
• 温度スケーリングや事後キャリブレーション技術を適用し、推定された不確実性マップに基づいて信頼度スコアを精緻化する。
• 不確実性推定を事後学習またはオンライン学習戦略として統合し、ピクセルレベルでのモデルキャリブレーションを向上させる。
• 出力内の各空間的位置におけるモデルの不確実性とデータの不確実性を反映した、不確実性に配慮した信頼度マップを構築する。
• 分布外（OOD）サンプルを用いてキャリブレーション性能を評価し、良好にキャリブレーションされたモデルはOOD入力に対して低い信頼度を出力するべきである。

実験結果

リサーチクエスチョン

• RQ1 アンサンブル法を用いた手法は、密度的予測タスクにおけるエピステミック不確実性を効果的に推定できるか？
• RQ2 生成モデルは、ピクセル単位の予測におけるアレアトリック不確実性をどの程度正確に捉えることができるか？
• RQ3 不確実性推定は、予測精度を低下させることなくモデルキャリブレーションを向上させることができるか？
• RQ4 不確実性を考慮したキャリブレーションは、意味的セグメンテーションおよび画像分類における分布外検出をどのように向上させるか？
• RQ5 完全教師あり、半教師あり、弱教師ありの異なる教師信号の種別において、アンサンブル法と生成モデルのアプローチの相対的な有効性は何か？

主な発見

• 提案されたフレームワークは、不確実性推定とモデルキャリブレーションを統合することで、画像分類および意味的セグメンテーションベンチマークで最先端のキャリブレーション性能を達成した。
• ピクセル単位の不確実性マップは、特にカテゴリに依存しないセグメンテーションタスクにおいて、分布外サンプルの検出を顕著に向上させた。
• アンサンブル法は頑健なエピステミック不確実性推定を提供する一方で、生成モデルはデータレベルのノイズとアレアトリック不確実性を効果的にモデル化できた。
• 不確実性推定をモデルキャリブレーションに統合することで、分布内サンプルでは高い精度を維持しつつ、不確実性が高いかOOD入力では信頼度を低下させることができた。
• 不確実性マップを用いた事後キャリブレーションは、標準的な温度スケーリングよりも信頼度キャリブレーションが優れており、特に長尾分布や分布シフトの状況で顕著であった。
• 本手法は、信頼性のある不確実性の定量化を提供しながらも、高い予測性能を維持しており、実世界応用における密度的不確実性推定の実現可能性を示した。