[논문 리뷰] Accurate Prediction and Uncertainty Estimation using Decoupled Prediction Interval Networks

Kinjal Patel, Steven L. Waslander|arXiv (Cornell University)|2022. 02. 19.

Machine Learning and Data Classification인용 수 6

한 줄 요약

이 논문은 예측 정확도와 불확실성 추정을 별도로 최적화하는 데 중점을 두고, 예측 간격(Prediction Intervals, PIs)을 위한 고유한 분포 자유 손실을 사용하는 이중 단계 딥러닝 프레임워크인 분리 예측 간격 네트워크(Decoupled Prediction Interval Networks, DPIN)를 제안한다. 평균 예측(MSE 손실을 통해)과 PI 추정(Coverage-aware 손실을 통해)을 분리함으로써, DPIN은 9개의 UCI 데이터셋 중 7개에서 95% 예측 간격 커버리지 확률(PICP)을 유지하면서도 평균 제곱근 오차(RMSE)를 23–34% 낮추었으며, 최신 기술 대비 활성 학습 오차를 17–36% 감소시켰다.

ABSTRACT

We propose a network architecture capable of reliably estimating uncertainty of regression based predictions without sacrificing accuracy. The current state-of-the-art uncertainty algorithms either fall short of achieving prediction accuracy comparable to the mean square error optimization or underestimate the variance of network predictions. We propose a decoupled network architecture that is capable of accomplishing both at the same time. We achieve this by breaking down the learning of prediction and prediction interval (PI) estimations into a two-stage training process. We use a custom loss function for learning a PI range around optimized mean estimation with a desired coverage of a proportion of the target labels within the PI range. We compare the proposed method with current state-of-the-art uncertainty quantification algorithms on synthetic datasets and UCI benchmarks, reducing the error in the predictions by 23 to 34% while maintaining 95% Prediction Interval Coverage Probability (PICP) for 7 out of 9 UCI benchmark datasets. We also examine the quality of our predictive uncertainty by evaluating on Active Learning and demonstrating 17 to 36% error reduction on UCI benchmarks.

연구 동기 및 목표

• 딥 러닝 회귀 모델에서 예측 정확도와 신뢰할 수 있는 불확실성 추정 간의 상충 관계를 해결하기 위해.
• 기존의 불확실성 정량화 방법이 정확도를 희생하거나 분산을 과소평가하는 데 기인한 한계를 극복하기 위해.
• 가우시안 노이즈를 가정하지 않고도 원하는 커버리지 확률(예: 95%)을 보장하는 분포 자유 방법을 개발하여 예측 간격을 학습하기 위해.
• 표준 UCI 회귀 기준과 활성 학습 설정에서의 성능을 평가하기 위해.
• 분리된 학습이 예측 정확도와 불확실성 校정의 동시 최적화를 가능하게 한다는 것을 입증하기 위해.

제안 방법

• 이 방법은 이중 단계 학습 프로세스를 사용한다: 첫 번째로, 평균 제곱오차(MSE) 손실을 사용하여 예측 정확도를 최적화하기 위해 메인 네트워크를 학습시킨다.
• 두 번째로, 예측 평균 주변의 예측 간격(Prediction Intervals, PIs)을 추정하기 위해 고유한 손실 함수를 사용하는 별도의 분리 네트워크를 학습시킨다.
• 고유한 손실 함수는 PI의 너비를 최소화하면서도 진짜 레이블이 예측 간격 내에 포함되는 비율이 목표 커버리지 확률(예: 95%)을 만족하도록 보장한다.
• PI 추정 손실은 데이터 노이즈에 대한 가정을 피하기 위해 분포 자유로 설계되었으며, 실제 타겟 예측값을 기준점으로 명시적으로 통합한다.
• 이 프레임워크는 첫 번째 단계에서 최적화된 평균 예측을 유지하고, 두 번째 단계에서는 오직 PI 헤드만 미세조정하여 정확도 저하를 방지한다.
• 이 방법은 합성 데이터와 9개의 UCI 회귀 데이터셋(포함하여 불확실성 기반 반복적 데이터 확보를 포함한 활성 학습 실험)에서 평가되었다.

실험 결과

연구 질문

• RQ1 분리된 학습 접근 방식이 딥 러닝 회귀에서 최신 기술 수준의 예측 정확도와 신뢰할 수 있는 불확실성 추정을 동시에 달성할 수 있는가?
• RQ2 예측 간격을 위한 분포 자유 손실 함수가 기존 방법보다 95% 커버리지 확률을 유지하면서도 PI 너비를 최소화하는 데 더 우수한가?
• RQ3 표준 기준에서의 RMSE와 로그우도(Log-likelihood, LL) 측면에서 제안된 방법은 최신 기술 수준의 불확실성 정량화 기법보다 어떻게 비교되는가?
• RQ4 불확실성 추정의 품질 향상이 활성 학습 시나리오에서 성능 향상에 얼마나 기여하는가?
• RQ5 분리된 아키텍처는 종단 간 모델에서 관찰되는 정확도와 불확실성 校정 간 상충 관계를 줄일 수 있는가?

주요 결과

• DPIN은 9개의 UCI 회귀 데이터셋 중 7개에서 최신 기술 대비 평균 제곱근 오차(RMSE)를 23–34% 낮추면서도 95% 예측 간격 커버리지 확률(PICP)을 유지한다.
• 에너지 데이터셋에서 DPIN은 현재 최신 기술 대비 로그우도(LL)를 41–67% 향상시켜 더 나은 확률적 校정을 나타낸다.
• 활성 학습에서 DPIN은 여러 데이터셋에서 MC-Dropout, DeepEns 및 Split-Train 대비 테스트 RMSE 오차를 17–36% 감소시켰다.
• 에너지 데이터셋에서 DPIN은 다른 방법들 대비 예측 간격 너비를 53–80% 감소시켰지만 95% PICP를 유지했다.
• 이중 단계 분리 학습 프로세스는 불확실성 校정을 손상시키지 않으면서도 정확도 향상을 크게 이끌어내었으며, 예측과 불확실성의 동시 최적화를 위한 모델보다 뛰어난 성능을 보였다.
• 제안된 분포 자유 PI 손실 함수는 가우시안 노이즈를 가정하지 않으면서도 애러티코 유형의 불확실성을 성공적으로 포착하여 비대칭 노이즈가 있는 데이터셋에서의 강건성을 향상시켰다.