[논문 리뷰] Deep Evidential Learning for Bayesian Quantile Regression

Frederik Boe Hüttel, Filipe Rodrigues외 1명|arXiv (Cornell University)|2023. 08. 21.

Gaussian Processes and Bayesian Inference인용 수 4

한 줄 요약

이 논문은 깊이 있는 베이지안 분위수 회귀 모델을 제안하며, 증거 기반 학습을 사용하여 단일 순방향 전파 내에서 이종성 불확실성과 지식 기반 불확실성을 모두 추정한다. 이는 가우시안 잡음을 가정하지 않으며, 직접적으로 분위수를 예측함으로써 비가우시안 불확실성 모델링이 가능해지며, 校정된 불확실성 추정과 분포 외 데이터에 대한 강건성을 달성한다.

ABSTRACT

It is desirable to have accurate uncertainty estimation from a single deterministic forward-pass model, as traditional methods for uncertainty quantification are computationally expensive. However, this is difficult because single forward-pass models do not sample weights during inference and often make assumptions about the target distribution, such as assuming it is Gaussian. This can be restrictive in regression tasks, where the mean and standard deviation are inadequate to model the target distribution accurately. This paper proposes a deep Bayesian quantile regression model that can estimate the quantiles of a continuous target distribution without the Gaussian assumption. The proposed method is based on evidential learning, which allows the model to capture aleatoric and epistemic uncertainty with a single deterministic forward-pass model. This makes the method efficient and scalable to large models and datasets. We demonstrate that the proposed method achieves calibrated uncertainties on non-Gaussian distributions, disentanglement of aleatoric and epistemic uncertainty, and robustness to out-of-distribution samples.

연구 동기 및 목표

• 기존의 증거 기반 회귀 모델이 가우시안 이종성 불확실성을 가정함으로써 복잡한 비가우시안 잡음 분포를 모델링하는 데 제한을 받는 문제를 해결한다.
• 목표 분포의 기댓값과 분산으로서의 묘사가 부족한 회귀 과제에서 정확한 불확실성 정량화를 가능하게 한다.
• 샘플링이나 다중 순방향 전파 없이도 이종성 불확실성과 지식 기반 불확실성을 분리하는 방법을 개발한다.
• 몬테카를로 드롭아웃이나 딥 앙상블와 같은 계산 비용이 큰 추론 기법을 피하여 대규모 모델과 데이터셋에 대한 확장성과 효율성을 확보한다.
• 실제 세계와 시뮬레이션된 비가우시안 데이터에서 분포 외 샘플에 대한 강건성과 校정성의 성능을 입증한다.

제안 방법

• 비대칭 라플라스 분포를 기반으로 한 우도 함수를 설정하여 베이지안 분위수 회귀에서 분위수를 모델링한다.
• 우도 함수의 매개변수에 딜레트 분포 사전을 적용하여 증거 기반 학습을 적용함으로써, 네트워크가 분위수 매개변수에 대한 증거를 출력할 수 있도록 한다.
• 심층 신경망을 훈련시켜 증거 분포의 매개변수(즉, 분위수에 대한 증거)를 예측하도록 하여, 폐쇄형 표현식을 통한 불확실성 추정을 가능하게 한다.
• 정확한 캘리브레이션된 분위수 예측을 보장하기 위해 적절한 점수 규칙(예: 분위수 손실)을 훈련 목표로 사용한다.
• 단일 순방향 전파 내에서 이종성 불확실성(분위수 예측을 통해)과 지식 기반 불확실성(증거 강도를 통해)을 분리한다.
• 증거 프레임워크를 활용하여 증거 집중도의 함수로 지식 기반 불확실성을 추정함으로써, 샘플링이나 앙상블 방법을 피한다.

실험 결과

연구 질문

• RQ1 분위수를 평균과 분산 대신 예측함으로써 증거 기반 학습을 비가우시안 이종성 불확실성 모델링으로 확장할 수 있는가?
• RQ2 추론 중 샘플링이 필요 없이도 제안된 방법이 비가우시안 잡음 분포에서 잘 校정된 불확실성 추정을 달성하는가?
• RQ3 분포 이동 상황에서도 단일 순방향 전파 내에서 이종성 불확실성과 지식 기반 불확실성을 효과적으로 분리할 수 있는가?
• RQ4 실제 세계의 회귀 과제에서 최신 베이지안 신경망 기법들과 비교해 성능과 효율성 면에서 어떻게 성과를 내는가?
• RQ5 증거 기반 분위수 회귀는 불확실성 추정을 통해 어느 정도 분포 외 샘플을 탐지할 수 있는가?

주요 결과

• 제안된 모델은 지수 분포나 비대칭 잡음과 같은 비가우시안 분포에서 잘 校정된 예측 구간을 달성하며, 평균-분산 기반 증거 기반 모델보다 우수한 성능을 보였다.
• 이종성 불확실성과 지식 기반 불확실성을 성공적으로 분리하였으며, 분포 경계나 분포 외 영역 근처에서 지식 기반 불확실성이 증가하는 경향을 보였다.
• 모델은 분포 외 샘플에 대해 강건성을 보였으며, 이러한 입력에서 지식 기반 불확실성이 신뢰성 있게 증가하는 경향을 보였다.
• 실험을 통해 아폴로스케이프 데이터셋에서 대규모 컴퓨터 비전 과제에 대해 효율적으로 확장 가능함을 입증하였으며, 증거 기반 불확실성이 객체 경계를 잘 포착하였다.
• 예측 정확도에서 베이스라인 모델을 능가하지는 않았지만, 단일 전파 추론 덕분에 훨씬 낮은 추론 비용을 기록하여 경쟁 가능한 성능을 달성하였다.
• 모델의 불확실성 추정은 가우시안 기반 증거 기반 회귀보다 더 영리하며, 분포 가정 없이 비대칭성과 꼬리가 두꺼운 분포를 모델링할 수 있다.