[論文レビュー] On the Pitfalls of Heteroscedastic Uncertainty Estimation with Probabilistic Neural Networks

Maximilian Seitzer, Arash Tavakoli+2 more|arXiv (Cornell University)|Mar 17, 2022

Gaussian Processes and Bayesian Inference被引用数 37

ひとこと要約

この論文は、確率的回帰における Gaussian の負の対数尤度（NLL）訓練が局所最適な平均フィットにつながる理由を分析し、β-NLL を提案する。β-NLL は分散で重み付けられた損失で、NLL と MSE の間を補間して平均の精度と不確実性推定の両方を改善する。

ABSTRACT

Capturing aleatoric uncertainty is a critical part of many machine learning systems. In deep learning, a common approach to this end is to train a neural network to estimate the parameters of a heteroscedastic Gaussian distribution by maximizing the logarithm of the likelihood function under the observed data. In this work, we examine this approach and identify potential hazards associated with the use of log-likelihood in conjunction with gradient-based optimizers. First, we present a synthetic example illustrating how this approach can lead to very poor but stable parameter estimates. Second, we identify the culprit to be the log-likelihood loss, along with certain conditions that exacerbate the issue. Third, we present an alternative formulation, termed $β$-NLL, in which each data point's contribution to the loss is weighted by the $β$-exponentiated variance estimate. We show that using an appropriate $β$ largely mitigates the issue in our illustrative example. Fourth, we evaluate this approach on a range of domains and tasks and show that it achieves considerable improvements and performs more robustly concerning hyperparameters, both in predictive RMSE and log-likelihood criteria.

研究の動機と目的

• ニューラルネットワークにおけるアレイオタリック不確実性推定の正確性の重要性を動機づける。
• 標準的な NLL 訓練が安定しているが平均フィットが貧弱になる理由を診断する。
• 勾配バイアスを緩和し、平均と不確実性の学習のバランスを取る分散重み付き損失（β-NLL）を提案する。
• 合成データと実世界の回帰、ダイナミクスモデリング、生成タスクを通じてアプローチを実証する。

提案手法

• ヘテロスケダス Gaussian 回帰の NLL を形式化し、勾配と分散の依存性を落とし穴として同定する。
• β-NLL を導入し、各データ点の損失寄与を σ^2^β で重み付け、重み付け項にはストップ・グラデーションを適用する。
• β=0 は NLL を再現し、β=1 は平均について MSE に似た勾配を生み出しつつ不確実性推定を保持する。
• 実務上、β≈0.5 がトレードオフとして良好であるとの指針を提供する。
• 合成の正弦波回帰、UCI 回帰、ダイナミクスモデリング、生成/深度タスクで RMSE と NLL を比較して実証的に評価する。

実験結果

リサーチクエスチョン

• RQ1 NLL ベースの訓練が確率的回帰モデルにおいてなぜ平均フィットを最適化できないのか？
• RQ2 分散重み付き損失は難解な領域の過小評価を緩和し、平均精度とキャリブレートされた不確実性の両方を改善できるか？
• RQ3 β-NLL は NLL や他の不確実性損失と比べて合成データと実世界データの丮をどう示すか？

主な発見

• NLL 訓練は予測分散による勾配スケーリングのために最適でない平均予測子へ収束する可能性があり、難易度の高い領域を過小サンプリングする。
• β-NLL は σ^2^β でサンプルごとの勾配を重み付けし、β は [0,1] の範囲で NLL と MSE の挙動を補間する。
• β≈0.5 はほとんどのタスクで RMSE と対数尤度のトレードオフの観点で最良のバランスを提供する。
• β-NLL はダイナミクスモデリングタスクで NLL よりもハイパーパラメータに対してロバストな性能を発揮する。
• β-NLL は UCI、MNIST/Fashion-MNIST、NYUv2、合成の正弦波/ダイナミクスデータセットで、適切に較正された不確実性推定と競争力のある、あるいは優れた予測精度を提供する。