[논문 리뷰] Frequentist uncertainty estimates for deep learning.
이 논문은 딥 네ural 네트워크에서 앨레토릭 및 엡리스티크 불확실성을 추정하기 위한 빈도주의 접근법을 제안한다. 동시에 다수의 분위수를 추정하는 분위수 회귀 기법을 도입하여 보정된 예측 구간을 얻고, 훈련 데이터를 0으로 매핑하고, 분포 외 입력을 비영으로 매핑하는 훈련 증명서(훈련 데이터에서의 비자명한 함수)를 제안하여 엡리스티크 불확실성을 탐지한다. 이는 이전 방법들보다 보정 수준과 분포 외 탐지 성능에서 뛰어나다.
We provide frequentist estimates of aleatoric and epistemic uncertainty for deep neural networks. To estimate aleatoric uncertainty we propose simultaneous quantile regression, a loss function to learn all the conditional quantiles of a given target variable. These quantiles lead to well-calibrated prediction intervals. To estimate epistemic uncertainty we propose training certificates, a collection of diverse non-trivial functions that map all training samples to zero. These certificates map out-of-distribution examples to non-zero values, signaling high epistemic uncertainty. We compare our proposals to prior art in various experiments.
연구 동기 및 목표
- 딥 네럴 네트워크에서 앨레토릭 및 엡리스티크 불확실성을 빈도주의적으로 추정하는 것.
- 딥 러닝 모델에서 보정된 예측 구간이 부족한 문제를 해결하는 것.
- 엡리스티크 불확실성을 정량화하여 분포 외 입력을 탐지하는 것.
- 베이지안 추론에 의존하지 않고도 이론적으로 타당하고 실증적으로 효과적인 방법을 개발하는 것.
제안 방법
- 동시 분위수 회귀를 사용하여 단일 딥 네럴 네트워크를 통해 목표 변수의 다수의 조건부 분위수를 추정한다.
- 모든 원하는 분위수를 동시에 예측할 수 있도록 설계된 새로운 손실 함수를 제안하여 보정된 예측 구간을 가능하게 한다.
- 훈련 입력을 모두 0으로 매핑하는 다양한 비자명한 함수로서 훈련 증명서를 구성한다.
- 이 증명서는 분포 외 입력에 대해 비영 값을 할당하여 높은 엡리스티크 불확실성을 나타내도록 사용된다.
- 훈련 데이터의 구조와 일반화 성질을 활용하여 분포 이탈을 식별한다.
- 베이지안 근사 기법을 피하고, 대신 빈도주의 원리를 활용하여 불확실성 정량화를 수행한다.
실험 결과
연구 질문
- RQ1동시 분위수 회귀는 딥 러닝 모델에서 보정된 예측 구간을 생성할 수 있는가?
- RQ2훈련 증명서는 분포 외 입력에 대해 높은 엡리스티크 불확실성을 효과적으로 신호로 제공할 수 있는가?
- RQ3제안된 방법은 기존 방법들에 비해 보정 수준과 분포 외 탐지 성능에서 어떻게 비교되는가?
- RQ4딥 러닝에서 순수하게 빈도주의 방법을 사용하여 앨레토릭 및 업리스티크 불확실성을 추정하는 것이 가능한가?
주요 결과
- 동시 분위수 회귀는 표준 회귀 기반 기준보다 보정된 예측 구간을 생성한다.
- 훈련 증명서는 분포 외 예측을 비영 값으로 매핑하여 높은 업리스티크 불확실성을 효과적으로 나타낸다.
- 기존 최고 수준의 방법들에 비해 분포 외 탐지 성능에서 뛰어난 성능을 보였다.
- 제안된 불확실성 추정치는 보정되어 있으며, 베이지안 추론이나 몬테카를로 샘플링을 필요로 하지 않는다.
더 나은 연구,지금 바로 시작하세요
연구 설계부터 논문 작성까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.