[논문 리뷰] Conformal prediction interval for dynamic time-series

Xu Chen, Yao Xie|arXiv (Cornell University)|2020. 10. 18.

Gaussian Processes and Bayesian Inference참고 문헌 32인용 수 16

한 줄 요약

이 논문은 데이터의 교환 가능성 가정이 필요 없는 동적 시계열에서 순차적 예측 구간을 구성하기 위한 분포 자유 방법인 EnbPI를 소개한다. 어떤 부트스트랩 앙상블 추정기의 래퍼로 구축된 EnbPI는 강한 혼합 오차 하에서 유한 표본에서 근사적으로 타당한 마진 복개를 보장하면서 과적합, 데이터 분할, 여러 모델 학습을 피함으로써 다양한 회귀 함수에 대해 확장 가능하고 쉽게 구현할 수 있는 솔루션을 제공한다.

ABSTRACT

We develop a method to construct distribution-free prediction intervals for dynamic time-series, called \Verb|EnbPI| that wraps around any bootstrap ensemble estimator to construct sequential prediction intervals. \Verb|EnbPI| is closely related to the conformal prediction (CP) framework but does not require data exchangeability. Theoretically, these intervals attain finite-sample, extit{approximately valid} marginal coverage for broad classes of regression functions and time-series with strongly mixing stochastic errors. Computationally, \Verb|EnbPI| avoids overfitting and requires neither data-splitting nor training multiple ensemble estimators; it efficiently aggregates bootstrap estimators that have been trained. In general, \Verb|EnbPI| is easy to implement, scalable to producing arbitrarily many prediction intervals sequentially, and well-suited to a wide range of regression functions. We perform extensive real-data analyses to demonstrate its effectiveness.

연구 동기 및 목표

• 동적 시계열에서 데이터의 교환 가능성에 의존하지 않는 예측 구간을 구성하기 위한 방법을 개발하는 것.
• 강한 혼합 오차를 가진 광범위한 회귀 함수 및 시계열에 대해 유한 표본에서 근사적으로 타당한 마진 복개를 보장하는 것.
• 순차적 예측에서 과적합을 방지하고 데이터 분할 또는 여러 앙상블 추정기의 학습이 필요 없도록 하는 것.
• 임의의 수의 순차적 예측 구간을 효율적으로 생성할 수 있는 확장 가능하고 계산적으로 효율적이며 쉽게 구현 가능한 프레임워크를 만드는 것.
• 이 방법이 다양한 실제 시계열 데이터에서 효과적임을 보여주는 것.

제안 방법

• EnbPI는 어떤 부트스트랩 앙상블 추정기의 래퍼로 구축되며, 그 예측 결과를 바탕으로 예측 구간을 형성한다.
• 관측치의 교환 가능성 가정 없이 시계열의 구조에 적응하는 순차적 校정 절차를 사용한다.
• 강한 혼합 확률 오차의 성질을 활용하여, 무한 표본에서 근사적으로 타당한 마진 복개를 보장한다.
• 사전에 학습된 부트스트랩 추정기를 효율적으로 집계함으로써 과적합을 방지하고 재학습 또는 데이터 분할이 필요 없도록 한다.
• 임의의 수의 예측 구간을 순차적으로 생성할 수 있도록 확장 가능성을 유지한다.
• 방법은 분포 자유이며 모델 잘못 지정에 대해 강건하여 다양한 회귀 함수에 적합하다.

실험 결과

연구 질문

• RQ1 동적 시계열에 대해 데이터의 교환 가능성 가정이 필요 없는 예측 구간 방법을 개발할 수 있는가?
• RQ2 강한 혼합과 같은 약한 의존성 가정 하에서 이러한 방법이 유한 표본에서 근사적으로 타당한 마진 복개를 달성할 수 있는가?
• RQ3 이 방법은 과적합을 피하고 데이터 분할 또는 여러 앙상블 모델의 학습이 필요 없도록 할 수 있는가?
• RQ4 실제 시계열 응용 분야에서 순차적 예측 구간을 생성하는 데 있어 이 방법은 얼마나 확장 가능하고 실용적인가?
• RQ5 EnbPI는 다양한 회귀 함수와 시계열 데이터 유형에서 신뢰성 유지가 가능한가?

주요 결과

• EnbPI는 강한 혼합 오차를 가진 광범위한 회귀 함수 및 시계열에 대해 유한 표본에서 근사적으로 타당한 마진 복개를 달성한다.
• 이 방법은 데이터의 교환 가능성 가정이 필요 없어, 이 가정이 성립하지 않는 동적 시계열에 적용 가능하다.
• EnbPI는 과적합을 방지하고 데이터 분할 또는 여러 앙상블 추정기의 학습이 필요 없도록 하여 계산 효율성을 향상시킨다.
• 이 방법은 확장 가능하며 임의의 수의 순차적 예측 구간을 효율적으로 생성할 수 있다.
• 실제 데이터를 대상으로 한 광범위한 분석 결과 EnbPI가 다양한 시계열 응용 분야에서 효과적이고 강건함을 확인했다.
• 이 방법은 구현이 쉽고 순차적 예측 작업에서 다양한 회귀 함수에 적합하다.