[논문 리뷰] Locally Valid and Discriminative Prediction Intervals for Deep Learning Models

Zhen Lin, Shubhendu Trivedi외 1명|arXiv (Cornell University)|2021. 06. 01.

Machine Learning in Materials Science인용 수 6

한 줄 요약

이 논문은 딥러닝 모델을 위한 국소적으로 타당하고 구분 가능한(Locally Valid and Discriminative, LVD) 예측 구간을 제안한다. 이는 확률 분포에 대한 가정 없이 유한 표본 국소 커버리지 보장을 달성하기 위해 통합 예측과 커널 회귀를 결합한 것이다. LVD는 확장 가능하고 후행 처리(post-hoc) 방식이며, 커버리지, 정확도, 불확실성 구분 능력 측면에서 기존 방법을 능가하면서도 모델 성능을 유지한다.

ABSTRACT

Crucial for building trust in deep learning models for critical real-world applications is efficient and theoretically sound uncertainty quantification, a task that continues to be challenging. Useful uncertainty information is expected to have two key properties: It should be valid (guaranteeing coverage) and discriminative (more uncertain when the expected risk is high). Moreover, when combined with deep learning (DL) methods, it should be scalable and affect the DL model performance minimally. Most existing Bayesian methods lack frequentist coverage guarantees and usually affect model performance. The few available frequentist methods are rarely discriminative and/or violate coverage guarantees due to unrealistic assumptions. Moreover, many methods are expensive or require substantial modifications to the base neural network. Building upon recent advances in conformal prediction [13, 33] and leveraging the classical idea of kernel regression, we propose Locally Valid and Discriminative prediction intervals (LVD), a simple, efficient, and lightweight method to construct discriminative prediction intervals (PIs) for almost any DL model. With no assumptions on the data distribution, such PIs also offer finite-sample local coverage guarantees (contrasted to the simpler marginal coverage). We empirically verify, using diverse datasets, that besides being the only locally valid method for DL, LVD also exceeds or matches the performance (including coverage rate and prediction accuracy) of existing uncertainty quantification methods, while offering additional benefits in scalability and flexibility.

연구 동기 및 목표

• 딥러닝에서 이론적으로 타당하고 확장 가능한 불확실성 정량화 방법이 부족한 문제를 해결하기 위해, 타당성과 구분 능력을 모두 보장하는 방법을 개발하는 것.
• 모수적 커버리지나 강한 분포 가정에 의존하지 않고, 유한 표본 국소 커버리지 보장을 제공하는 후행 처리 방법을 개발하는 것.
• 기본 딥러닝 모델의 예측 정확도와 성능을 유지하면서도, 국소 입력 복잡도에 따라 적응하는 불확실성 추정을 가능하게 하는 것.
• 기존 베이지안 및 통합 예측 방법의 한계를 극복하기 위해, 빈도주의 타당성을 확보하지 못하거나 높은 계산 비용으로 인해 어려움을 겪는 문제를 해결하는 것.
• 아ー゠텍처나 학습 과정의 수정 없이도 어떤 딥러닝 모델에도 적용 가능한 경량이고 유연한 프레임워크를 제공하는 것.

제안 방법

• 입력 공간에서의 이웃성 유사도를 기반으로 국소 예측 불확실성을 추정하기 위해 통합 예측 원리와 커널 회귀를 융합하는 방식.
• 각 테스트 입력 주변의 국소적 이웃 훈련 포인트를 이용해 영향 함수와 경험적 오차 추정을 통해 예측 구간의 폭을 계산하는 방식.
• 입력 특성 조건부 커버리지를 보장하기 위해 국소 가중치를 적용한 수정된 분할 통합 예측 프레임워크를 적용하는 방식.
• 완전 재학습 없이도 영향 함수를 효율적으로 추정하는 근사 기법을 활용해 대규모 모델 및 데이터셋에 대한 확장성을 확보하는 방식.
• 국소 모델 불확실성에 따라 동적으로 예측 구간 폭을 조정하는 커널 가중 오차 추정 기법을 도입하는 방식.
• 주 훈련 과정과 분리된 후행 처리 단계로 불확실성 추정을 적용해 모델 성능을 유지하는 방식.

실험 결과

연구 질문

• RQ1 딥러닝을 위한 후행 처리 불확실성 추정 방법이 강한 분포 가정 없이도 유한 표본 국소 커버리지 보장을 달성할 수 있는가?
• RQ2 딥러닝 모델에서 예측 구간을 어떻게 타당성(커버리지)과 구분 능력(국소 불확실성에 민감하게 반응)을 동시에 확보할 수 있는가?
• RQ3 이러한 방법은 예측 정확도를 유지하면서도 계산 효율성과 확장성을 확보할 수 있는가?
• RQ4 제안된 방법은 기존 베이지안 및 통합 예측 방법에 비해 커버리지 비율, 구간 폭, 국소 데이터 구조에 대한 적응성 측면에서 뛰어난가?
• RQ5 아키텍처나 학습 수정 없이도 다양한 데이터셋과 모델 아키텍처에 대해 안정적인 성능을 보일 수 있는가?

주요 결과

• 평가된 방법들 중에서 LVD만이 딥러닝 모델에 대해 유한 표본 국소 커버리지 보장을 제공한다.
• LVD는 최신 기법들과 비교해 높거나 동일한 커버리지 비율을 확보하면서도 더 좁은 예측 구간을 생성해 불확실성의 더 나은 구분 능력을 보여준다.
• 기본 딥러닝 모델의 예측 정확도를 유지하며 실험에서 성능 저하가 관찰되지 않았다.
• LVD는 영향 함수 기반 방법들인 Jackknife+와 DJ에 비해 훨씬 뛰어난 확장성을 보였다. 특히 대규모 모델에선 계산 비용이 지나치게 높아져 적용이 어려운 문제가 있었다.
• 다양한 데이터셋(Boston Housing, QM9, Concrete, Kin8nm 등)에서의 실험 결과, LVD는 커버리지와 구간 폭 측면에서 기존 방법을 능가하거나 동등하게 유지하는 것으로 확인되었다.
• 다양한 모델 아키텍처와 데이터 모odal리티에 걸쳐 안정적인 성능을 보여, LVD의 유연성과 일반화 능력이 입증되었다.