[논문 리뷰] On the Pitfalls of Heteroscedastic Uncertainty Estimation with Probabilistic Neural Networks

Maximilian Seitzer, Arash Tavakoli외 2명|arXiv (Cornell University)|2022. 03. 17.

Gaussian Processes and Bayesian Inference인용 수 37

한 줄 요약

이 논문은 가우시안 음의 로그우도(NLL) 훈련이 확률적 회귀에서 평균 피트에 비최적 결과를 낳는 이유를 분석하고, NLL과 MSE 사이를 보간하는 분산 가중 손실인 β-NLL을 제안하여 평균 정확도와 불확실성 추정치를 모두 개선한다.

ABSTRACT

Capturing aleatoric uncertainty is a critical part of many machine learning systems. In deep learning, a common approach to this end is to train a neural network to estimate the parameters of a heteroscedastic Gaussian distribution by maximizing the logarithm of the likelihood function under the observed data. In this work, we examine this approach and identify potential hazards associated with the use of log-likelihood in conjunction with gradient-based optimizers. First, we present a synthetic example illustrating how this approach can lead to very poor but stable parameter estimates. Second, we identify the culprit to be the log-likelihood loss, along with certain conditions that exacerbate the issue. Third, we present an alternative formulation, termed $β$-NLL, in which each data point's contribution to the loss is weighted by the $β$-exponentiated variance estimate. We show that using an appropriate $β$ largely mitigates the issue in our illustrative example. Fourth, we evaluate this approach on a range of domains and tasks and show that it achieves considerable improvements and performs more robustly concerning hyperparameters, both in predictive RMSE and log-likelihood criteria.

연구 동기 및 목표

• 신경망에서 알레이터릭 불확실성 추정의 정확성의 중요성을 강조한다.
• 표준 NLL 훈련이 왜 안정적이지만 평균 적합이 나쁜 결과를 낳는지 진단한다.
• 그래디언트 바이어스를 완화하고 평균과 불확실성 훈련의 균형을 맞추는 분산 가중 손실(β-NLL)을 제안한다.
• 합성 및 실제 세계 회귀, 동역학 모델링, 생성 작업에 걸쳐 접근법을 시연한다.

제안 방법

• 확률적 가우시안 회귀에 대한 NLL를 형식화하고 그래디언트-분산 의존성을 함정으로 식별한다.
• 데이터 포인트의 손실 기여가 σ^2^β로 가중되며 가중치 항에 대해 stop-gradient를 적용하는 β-NLL을 도입한다.
• β=0은 NLL을 회복하고 β=1은 평균에 대해 MSE와 같은 기울기를 제공하면서 불확실성 추정치를 보존한다.
• β≈0.5가 실무적으로 좋은 절충점을 제공한다는 지침을 제시한다.
• 합성 사인 회귀, UCI 회귀, 동역학 모델링, 생성/깊이 작업에서 RMSE와 NLL를 비교하기 위해 실험적으로 평가한다.

실험 결과

연구 질문

• RQ1 확률적 회귀 모델에서 NLL 기반 훈련이 왜 서브최적 평균 피트를 초래할 수 있는가?
• RQ2 분산 가중 손실이 어려운 예측 영역의 과소 가중을 완화하고 평균 정확도와 보정된 불확실성을 모두 향상시킬 수 있는가?
• RQ3 β-NLL이 합성 및 실제 데이터셋에서 NLL 및 대안 불확실성 손실과 비교하여 어떠한 성능을 보이는가?

주요 결과

• NLL 훈련은 예측된 분산에 의한 그래디언트 스케일링으로 인해 평균 예측자의 수렴이 서브최적일 수 있으며, 이는 어려운 영역의 샘플링을 사실상 부족하게 만든다.
• β-NLL은 각 샘플의 그래디언트를 σ^2^β로 가중하며, β는 [0,1] 구간에서 NLL과 MSE의 동작 사이를 보간한다.
• β≈0.5는 일반적으로 RMSE와 로그가능도 사이의 최적 균형을 제공한다.
• β-NLL은 동역학 모델링 작업에서 NLL보다 하이퍼파라미터에 덜 민감한 강건한 성능을 달성한다.
• β-NLL은 보정된 불확실성 추정치를 제공하고 UCI, MNIST/Fashion-MNIST, NYUv2 및 합성 사인/동역학 데이터셋에서 경쟁력 있거나 우수한 예측 정확도를 보여준다.