[논문 리뷰] High-Quality Prediction Intervals for Deep Learning: A Distribution-Free, Ensembled Approach

Tim Pearce, Mohamed Zaki외 2명|arXiv (Cornell University)|2018. 02. 20.

Adversarial Robustness in Machine Learning참고 문헌 27인용 수 150

한 줄 요약

분포 비의존 손실(Quality-Driven, HQ)을 도입하여 회귀에 대해 좁은 예측 구간(PIs)을 생성하고, QD-Ens가 최첨단 MVE-Ens보다 PI 품질을 향상시킴을 10개 벤치마크에서 보여준다.

ABSTRACT

This paper considers the generation of prediction intervals (PIs) by neural networks for quantifying uncertainty in regression tasks. It is axiomatic that high-quality PIs should be as narrow as possible, whilst capturing a specified portion of data. We derive a loss function directly from this axiom that requires no distributional assumption. We show how its form derives from a likelihood principle, that it can be used with gradient descent, and that model uncertainty is accounted for in ensembled form. Benchmark experiments show the method outperforms current state-of-the-art uncertainty quantification methods, reducing average PI width by over 10%.

연구 동기 및 목표

• 회귀에서 불확실성을 고품질 예측 구간으로 정량화한다.
• HQ 원칙에 맞춘 분포 비의존적 PI 출력 손실 함수를 개발한다.
• 모델 불확실성을 앙상블로 포착하고 최첨단 불확실성 방법과 비교한다.

제안 방법

• HQ 원칙으로 LossQD를 도출하여 고정 커버리지(1-α) 하에서 PI 폭을 최소화한다.
• 손실된 데이터 포인트의 폭 감소를 방지하기 위해 캡처된 MPIW(MPIWcapt)를 사용한다.
• PI 커버리지에 베르누이 우도(likelihood)를 채택하고 PICP가 (1−α)에 미치지 못할 때 커버리지를 강제하는 한쪽 손실항을 적용한다.
• 梯度 하강 학습이 가능하도록 미분가능한(소프트) 버전 LossQD-soft를 제시한다.
• LossQD-soft를 이용해 신경망 앙상블을 학습하여 모델 불확실성을 포착하고, 앙상블의 구한 상하한 PI를 결합해 최종 PI를 형성한다.
• MVE-Ens와 비교하여 PI 품질 지표로 PICP와 MPIW를 보고한다. 10개 공개 데이터셋 벤치마크.

실험 결과

연구 질문

• RQ1 신경망에서 지정된 커버리지로 좁은 PI를 산출하는 분포 비의존적 손실을 어떻게 구성할 수 있는가?
• RQ2 PI 추정에서 모델 불확실성을 효과적으로 포착하는 신경망 앙상블이 가능하는가?
• RQ3 HQ 기반 손실이 벤치마크 데이터셋에서 PI 폭과 커버리지 측면에서 LUBE 및 MVE와 비교하여 어떤 차이가 있는가?

주요 결과

• QD-Ens는 10개 데이터셋에서 PI 품질 지표 측면에서 MVE-Ens를 능가했고, PICP은 0.95에 더 근접했고 MPIW는 평균적으로 약 11.6% 더 좁아졌다.
• HQ 손실은 가정된 가우시안 노이즈를 가정하지 않는 견고한 분포 비의존적 접근을 제공하며 소프트 근사치를 사용할 때도 경사 하강법과의 경쟁력을 유지한다.
• PI 폭은 커버리지를 유지하거나 향상시키면서 감소하여, 분포 가정 없이도 불확실성 정량화가 효과적임을 보여준다.
• 앙상블은 모델 불확실성을 추정하는 실용적 기제를 제공하며, 구성원 예측으로 형성된 앙상블 상하한 PI를 사용한다.
• LossQD-soft의 학습 가능성은 경사 기반 최적화를 가능하게 하며, 낮은 학습률과 더 많은 에포크가 MVE-Ens에 비해 안정성을 높일 수 있음을 시사한다.
• 이 논문은 MVE-Ens를 공정한 PI-criteria 평가를 위해 MVE 출력을 PI로 변환하는 비교에서 우호적인 해석을 보고한다.