[논문 리뷰] Estimating Epistemic and Aleatoric Uncertainty with a Single Model

Matthew A. Chan, María J. Molina외 1명|arXiv (Cornell University)|2024. 02. 05.

Forecasting Techniques and ApplicationsDecision Sciences인용 수 3

한 줄 요약

이 논문은 조건부 확산 모델과 하이퍼넷워크를 사용하여 기계학습에서 지식적 불확실성과 앨레토릭 불확실성을 모두 추정하는 단일 모델 프레임워크인 Hyper-Diffusion를 제안한다. 하이퍼넷워크에서 다수의 가중치 세트를 샘플링하고, 이를 통해 확산 모델이 예측을 생성함으로써, 훈련 비용의 일부에 불과한 비용으로 심층 앙상블 수준의 불확실성 추정 정확도를 달성한다.

ABSTRACT

Estimating and disentangling epistemic uncertainty, uncertainty that is reducible with more training data, and aleatoric uncertainty, uncertainty that is inherent to the task at hand, is critically important when applying machine learning to high-stakes applications such as medical imaging and weather forecasting. Conditional diffusion models' breakthrough ability to accurately and efficiently sample from the posterior distribution of a dataset now makes uncertainty estimation conceptually straightforward: One need only train and sample from a large ensemble of diffusion models. Unfortunately, training such an ensemble becomes computationally intractable as the complexity of the model architecture grows. In this work we introduce a new approach to ensembling, hyper-diffusion models (HyperDM), which allows one to accurately estimate both epistemic and aleatoric uncertainty with a single model. Unlike existing single-model uncertainty methods like Monte-Carlo dropout and Bayesian neural networks, HyperDM offers prediction accuracy on par with, and in some cases superior to, multi-model ensembles. Furthermore, our proposed approach scales to modern network architectures such as Attention U-Net and yields more accurate uncertainty estimates compared to existing methods. We validate our method on two distinct real-world tasks: x-ray computed tomography reconstruction and weather temperature forecasting.

연구 동기 및 목표

• 의료 영상 및 기상 예측과 같은 고위험 기계학습 응용 분야에서 신뢰할 수 있는 불확실성 정량화의 필수적인 필요성을 해결한다.
• 특히 생성 모델 설정에서 복잡한 모델에 대해 심층 앙상블을 훈련하는 데 있어 계산적으로 비현실적인 문제를 해결한다.
• 단일 훈련된 모델을 사용하여 지식적 불확실성(모델의 무지)과 앨레토릭 불확실성(본질적인 데이터 변동성)을 분리한다.
• 예측 정확도를 유지하면서도 높은 확장성을 가지며 불확실성 추정이 가능한 앙상블 방법의 대체 가능성을 개발한다.

제안 방법

• 추론 시기에 하이퍼넷워크를 사용해 조건부 확산 모델의 (가상의) 앙상블 가중치 세트를 생성한다.
• 확산 모델을 사용해 각 가중치 세트로부터 다수의 예측을 샘플링하여 예측 분포를 형성한다.
• 확산 모델의 출력에 걸쳐 샘플 예측의 분산으로서 앨레토릭 불확실성을 추정한다.
• 하이퍼넷워크에 의해 생성된 다양한 가중치 세트 간의 평균 예측 분산으로서 지식적 불확실성을 추정한다.
• 다양하고 데이터에 일치하는 가중치 세트를 생성하여 예측의 불확실성을 반영하도록 하이퍼넷워크를 엔드 투 엔드로 훈련한다.
• 추론 시에 가중치 세트 수(M)와 각 세트당 예측 수(N)를 조정하여 영향력 있는 앙상블 행동을 유연하게 모방할 수 있도록 한다.

Figure 1: Block diagram of a hyper-diffusion model. A hyper-network is optimized to generate a (pseudo-)ensemble of network weights for a diffusion model which then outputs a distribution of predictions. The mean “ensemble” prediction is formed by averaging over all samples from the predictive distr

실험 결과

연구 질문

• RQ1 복잡한 역문제에서 심층 앙상블의 불확실성 추정 성능을 단일 모델이 근사할 수 있는가?
• RQ2 제안된 하이퍼-확산 프레임워크는 예측 정확도를 희생시키지 않고 지식적 및 앨레토릭 불확실성을 정확히 분리할 수 있는가?
• RQ3 샘플링 빈도(M 및 N)가 분포 외 시나리오에서 지식적 및 앨레토릭 불확실성 추정의 신뢰성에 어떤 영향을 미치는가?
• RQ4 CT 재구성 및 기상 예측과 같은 실제 고위험 과제에서 경쟁적인 성능을 달성하면서도 계산 비용이 효율적인가?

주요 결과

• MC-Dropout는 추론 시 드롭아웃로 인해 성능 저하를 겪음에도 불구하고, Hyper-Diffusion는 X선 CT 재구성에서 PSNR 및 SSIM 점수를 약간 높게 기록했으며, DPS-UQ와 유사한 성능을 보였다.
• 가중치 세트의 샘플링 수(M)가 증가할수록 지식적 불확실성 추정이 향상되었으며, 분포 외 특징은 더 높은 불확실성, 분포 내 영역은 더 낮은 불확실성으로 정확히 식별했다.
• 각 가중치 세트당 예측 수(N)가 증가함에 따라 앨레토릭 불확실성 추정이 더 균일하고 안정적이게 되었으며, N ≥ 8일 때 비정상적인 피크가 사라졌다.
• 이 방법은 정확한 불확실성 분리가 가능했다: 앨레토릭 불확실성은 본질적인 데이터 변동성을 반영하고, 지식적 불확실성은 모델의 불확실성을 반영했다.
• Hyper-Diffusion는 CT 재구성과 기상 예측 모두에서 심층 앙상블과 유사한 성능을 달성했지만, 훨씬 낮은 훈련 비용을 기록했다.
• 이 프레임워크는 여러 전체 모델을 훈련하는 데 따른 계산적 부담 없이 고위험 응용 분야에서 확장 가능한 불확실성 추정을 가능하게 했다.

Figure 2: Estimating aleatoric uncertainty with hyper-diffusion models. The distribution of sample variance for four hyper-diffusion models trained on datasets with varying noise levels is shown above. Notice that each distribution’s mean is approximately equal to the aleatoric variance $\sigma_{\et