[논문 리뷰] Learning Prediction Intervals for Regression: Generalization and Calibration

Haoxian Chen, Ziyi Huang외 3명|arXiv (Cornell University)|2021. 02. 26.

Machine Learning and Data Classification참고 문헌 18인용 수 8

한 줄 요약

이 논문은 예측 구간의 폭과 커버리지 정확도를 동시에 최적화하는 제약 조건이 있는 경험적 최적화를 통해 회귀에서 예측 구간을 학습하는 새로운 프레임워크를 제안한다. 리프시츠 및 VC-서브그래프 클래스에 대한 일반적인 학습 이론과 고차원 베르아-에센 정리에 기반한 校정 방법을 도입하여 유한 표본에서 높은 신뢰도로 커버리지 보장을 보장한다. 이는 테스트 데이터에서 기존 방법보다 커버리지와 예측 구간 폭 측면에서 모두 뛰어나다.

ABSTRACT

We study the generation of prediction intervals in regression for uncertainty quantification. This task can be formalized as an empirical constrained optimization problem that minimizes the average interval width while maintaining the coverage accuracy across data. We strengthen the existing literature by studying two aspects of this empirical optimization. First is a general learning theory to characterize the optimality-feasibility tradeoff that encompasses Lipschitz continuity and VC-subgraph classes, which are exemplified in regression trees and neural networks. Second is a calibration machinery and the corresponding statistical theory to optimally select the regularization parameter that manages this tradeoff, which bypasses the overfitting issues in previous approaches in coverage attainment. We empirically demonstrate the strengths of our interval generation and calibration algorithms in terms of testing performances compared to existing benchmarks.

연구 동기 및 목표

• 예측 구간의 폭과 커버리지 정확도 사이의 트레이드오���을 해결하기 위해 회귀 불확실성 정량화에서의 예측 구간 학습 문제를 다루는 것.
• 예측 구간 모델의 타당성(커버리지)과 최적성(좁은 폭)을 동시에 보장하는 일반적인 학습 이론을 개발하는 것.
• 유한 표본에서 커버리지 확보를 위한 통계적으로 타당한 校정 절차를 도입하여 과적합을 완화하는 것.
• 최소한의 조정으로 여러 수준의 예측 구간을 동시에 구축할 수 있도록 하는 것.

제안 방법

• 예측 구간 학습을 평균 폭을 최소화하는 제약 조건이 있는 경험적 최적화 문제로 공식화하며, 커버리지 제약 조건을 포함한다.
• 편차 한계를 동시에 적용하는 경험적 과정에 기반한 최적성-타당성 트레이드오프를 제어할 수 있는 민감도 측정치를 도입한다.
• 유한 표본에서 고신뢰도 커버리지를 보장하는 校정 방법을 유도하기 위해 고차원 베르아-에센 정리를 적용한다.
• 통계 이론에 기반한 정규화 파rameter 선택 전략을 사용하여 과적합을 방지하고 테스트 성능을 향상시킨다.
• 서명 함수에 대한 강력한 가우시안 농도 성질을 활용하여 리프시츠 및 VC-서브그래프 클래스에 대해 일반화 한계를 확립한다.
• 최소한의 재학습으로 다양한 신뢰 수준에서 여러 예측 구간을 동시에 구축할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 어떻게 이론적으로 좁은 예측 구간 폭과 정확한 커버리지 보장을 동시에 보장할 수 있는가?
• RQ2 신경망과 회귀 트리와 같은 다양한 모델 클래스에서 커버리지와 폭의 동시 최적화를 뒷받침하는 일반적인 학습 이론은 무엇인가?
• RQ3 과적합 없이 고신뢰도의 유한 표본 커버리지를 보장하는 校정 절차는 어떻게 설계할 수 있는가?
• RQ4 제안된 방법은 테스트 데이터에서 기존 방법보다 커버리지 정확도와 예측 구간 폭 측면에서 모두 뛰어나게 성능을 발휘할 수 있는가?
• RQ5 이 프레임워크는 동시에 다양한 수준의 예측 구간을 생성할 수 있도록 어떻게 확장할 수 있는가?

주요 결과

• 제안된 방법은 기준 방법보다 테스트 데이터에서 더 높은 커버리지 정확도를 달성하면서도 유의미하게 좁은 예측 구간을 생성한다.
• 교정 절차는 기존의 스플릿 컨포멀 인퍼런스보다 폭과 신뢰도 보장 측면에서 뛰어난, 고유한 표본에서의 고신뢰도 커버리지를 보장한다.
• 이론적 분석을 통해 리프시츠 연속 및 VC-서브그래프 모델 클래스에 대해 커버리지와 폭에 대한 일반화 한계를 확립한다.
• 실험 결과는 이 방법이 구간 폭 측면에서 컨포멀 러닝과 분위수 회귀를 능가함과 동시에 커버리지 유지 또는 향상함을 보여준다.
• 이 프레임워크는 다양한 수준에서 동시에 여러 예측 구간을 생성할 수 있어 의사결정의 유연성을 높인다.
• 고차원 베르아-에센 정리를 활용함으로써 과적합을 방지하는 안정적인 정규화 파rameter 선택 전략을 확보할 수 있다.