[논문 리뷰] Exploring Uncertainty in Deep Learning for Construction of Prediction Intervals

Yuandu Lai, Yucheng Shi외 4명|arXiv (Cornell University)|2021. 04. 27.

Machine Learning and Data Classification참고 문헌 56인용 수 7

한 줄 요약

이 논문은 레이블이 없는 회귀 학습만으로도 악성 불확실성과 민감성 불확실성을 동시 추정하는 데에 사용할 수 있는 새로운 미분 가능한 손실 함수를 제안한다. 이 방법은 손실 함수를 통해 데이터 불확실성을 암묵적으로 학습하고 앙상블 기반 방법을 통해 민감성 불확실성을 모델링하며, UCI 회귀 데이터셋에서 가장 우수한 성능을 기록하며 더 좁고 잘 校정된 예측 구간을 제공한다.

ABSTRACT

Deep learning has achieved impressive performance on many tasks in recent years. However, it has been found that it is still not enough for deep neural networks to provide only point estimates. For high-risk tasks, we need to assess the reliability of the model predictions. This requires us to quantify the uncertainty of model prediction and construct prediction intervals. In this paper, We explore the uncertainty in deep learning to construct the prediction intervals. In general, We comprehensively consider two categories of uncertainties: aleatory uncertainty and epistemic uncertainty. We design a special loss function, which enables us to learn uncertainty without uncertainty label. We only need to supervise the learning of regression task. We learn the aleatory uncertainty implicitly from the loss function. And that epistemic uncertainty is accounted for in ensembled form. Our method correlates the construction of prediction intervals with the uncertainty estimation. Impressive results on some publicly available datasets show that the performance of our method is competitive with other state-of-the-art methods.

연구 동기 및 목표

• 자율 주행 시스템 및 의료 진단과 같은 고위험 딥러닝 응용 분야에서 불확실성 정량화의 필수적인 필요성을 해결하기 위해.
• 명시적인 불확실성 레이블이 필요 없이 악성 불확실성과 민감성 불확실성을 모두 반영하는 신뢰할 수 있는 예측 구간을 구축하기 위해.
• 출력층과 손실 함수만 수정함으로써 표준 딥러닝 프레임워크와 호환되는 학습 방법을 개발하기 위해.
• 제어 가능한 커버리지와 넓이를 갖춘 간격 추정을 제공함으로써 모델의 校정성과 불확실성 인식 의사결정을 가능하게 하기 위해.
• 표준 예측 구간 품질 평가 지표를 사용하여 실제 회귀 데이터셋에서의 성능을 평가하기 위해.

제안 방법

• 표준 점 추정 대신 예측 구간(하한 및 상한)을 출력하는 수정된 딥 네ural 네트워크를 사용하며, 최종 레이어는 구간의 양 끝점을 출력한다.
• 확률 이론에서 유도된 새로운 미분 가능한 손실 함수를 제안하여, 불확실성 레이블이 없더라도 레이블 없는 회귀 손실을 통해 악성 불확실성을 암묵적으로 학습한다.
• 민감성 불확실성은 앙상블 기반 모델링을 통해 모델을 여러 개 학습하고 예측 결과를 집계함으로써 낮은 데이터 영역에서의 불확실성을 반영한다.
• 손실 함수는 예측 구간 커버리지(PICP)와 넓이(MPIW) 사이의 균형을 조절하기 위해 하이퍼파rameter λ를 포함한다.
• 표준 딥러닝 최적화와 호환되며, 레이어별 역전파를 사용한 엔드 투 엔드 학습이 가능하다.
• PICP와 MPIW를 평가 지표로 사용하여 아홉 개인 UCI 회귀 데이터셋에서 방법의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 명시적인 불확실성 레이블이 없이도 딥러닝 모델이 잘 校정된 예측 구간을 생성하도록 훈련할 수 있는가?
• RQ2 표준 회귀 설정에서 수정된 손실 함수를 통해 악성 불확실성을 얼마나 잘 암묵적으로 학습할 수 있는가?
• RQ3 모델 앙상블이 희소한 훈련 데이터 영역에서 민감성 불확실성을 얼마나 효과적으로 포착할 수 있는가?
• RQ4 예측 구간 커버리지와 넓이 사이의 상호 교환 관계는 어떻게 조절할 수 있으며, 하이퍼파rameter를 통해 제어 가능한가?
• RQ5 다양한 회귀 작업에서 최신 기술 수준의 방법들과 비교해 볼 때, 제안된 방법은 예측 구간 품질과 강건성 측면에서 얼마나 우수한가?

주요 결과

• 제안된 방법은 대부분의 UCI 회귀 데이터셋에서 평균적으로 최고의 성능을 기록하였으며, PICP 값이 사전 설정된 95% 신뢰 수준에 매우 가까웠다.
• 예측 구간의 폭은 양방향 회귀 분석(QR) 대비 30.1% 감소했고, QR-GBDT 대비 24.1% 감소하였으며, 높은 커버리지 유지했다.
• IntPred 방법과 비교해 본 결과, 제안된 방법은 구간 폭을 20.1% 감소시켰고, 커버리지 수준은 유사하게 유지했다.
• 하이퍼파rameter λ는 커버리지(PICP)와 폭(MPIW) 사이의 상호 교환 관계를 효과적으로 제어하여 사용자가 원하는 신뢰도 또는 정밀도에 맞게 조정할 수 있었다.
• 테스트 샘플에 대한 예측 구간의 시각화 결과, 모델이 불확실성 패턴을 잘 반영했음을 확인했으며, 특히 희소 데이터 영역에서 더 넓은 구간을 생성했다.
• 모델는 민감성 불확실성에 매우 민감하게 반응했으며, 특성 공간의 낮은 밀도 영역에서 예측 구간의 폭이 크게 증가했다.