[논문 리뷰] Adaptive Conformal Predictions for Time Series

Margaux Zaffran, Aymeric Dieuleveut외 3명|arXiv (Cornell University)|2022. 02. 15.

Stock Market Forecasting Methods인용 수 17

한 줄 요약

이 논문은 시간적 종속성과 분포 이동 상황에서도 예측 간격의 유효성과 효율성을 향상시키기 위해 온라인 전문가 집합 기반의 매개변수 없는 적응형 콫라디티브 예측 방법인 AgACI를 제안한다. AgACI는 시간적 종속성과 분포 이동 하에서 예측 간격의 유효성과 효율성을 보장하며, 적응형 콕라디티브 인퍼런스(ACI)의 학습률에 대한 이론적 분석을 수행하고, 광범위한 시뮬레이션과 실세계 전기 가격 예측 사례 연구를 통해, 교환 가능하지 않은 종속 데이터 상황에서도 유효하고 좁은 예측 간격을 달성함을 입증한다. 이는 합성 및 실세계 환경 모두에서 기존 방법들을 능가한다.

ABSTRACT

Uncertainty quantification of predictive models is crucial in decision-making problems. Conformal prediction is a general and theoretically sound answer. However, it requires exchangeable data, excluding time series. While recent works tackled this issue, we argue that Adaptive Conformal Inference (ACI, Gibbs and Cand{è}s, 2021), developed for distribution-shift time series, is a good procedure for time series with general dependency. We theoretically analyse the impact of the learning rate on its efficiency in the exchangeable and auto-regressive case. We propose a parameter-free method, AgACI, that adaptively builds upon ACI based on online expert aggregation. We lead extensive fair simulations against competing methods that advocate for ACI's use in time series. We conduct a real case study: electricity price forecasting. The proposed aggregation algorithm provides efficient prediction intervals for day-ahead forecasting. All the code and data to reproduce the experiments is made available.

연구 동기 및 목표

• 시간적 종속성이 있는 시간 시리즈 데이터에 콕라디티브 인퍼런스를 적용할 때 이론적 유효성과 효율성의 부족을 해결하기 위해.
• 예측 간격 성능 향상을 위해 다수의 ACI 모델을 적응적으로 조합하는 매개변수 없는 방법을 개발하기 위해.
• 교환 가능성과 자기회귀적 데이터 가정 하에서 ACI의 학습률이 미치는 이론적 영향을 분석하기 위해.
• 합성 시간 시리즈와 실세계 전기 가격 예측 작업에서 방법을 실증적으로 평가하기 위해.
• 시간 시리즈 콕라디티브 인퍼런스를 위한 재현 가능한 프레임워크를 제공하고, 오픈소스 코드와 데이터를 함께 제공하기 위해.

제안 방법

• AgACI는 시간에 따라 변화하는 가중치를 사용해 다수의 ACI 모델을 조합하는 온라인 전문가 집합 방법을 제안하여 예측 간격의 효율성을 향상시킨다.
• 순차적 모델 재적용을 통해 다수의 분포 이동과 비교환 가능한 데이터를 허용함으로써 ACI를 시간 시리즈에 적응시키는 방법을 적용한다.
• ACI의 학습률 파rameter를 사용해 최근 데이터와 분포 이동에 대한 민감도를 조절하며, 유효성과 효율성에 미치는 영향에 대한 이론적 분석을 수행한다.
• 학습 및 교정을 위한 순차적 분할 전략을 적용하여 교정 세트가 학습 세트 이후에 위치하도록 시간 순서를 유지한다.
• 시간에 따라 변화하는 최적의 성능을 보이는 ACI 구성 요소를 동적으로 선택하기 위해 온라인 가중치 기반 집합 방법을 활용한다.
• 실수 및 합성 시간 시리즈(ARMA(1,1), AR(1), MA(1))와 프랑스 전기 스팟 가격 데이터(다양한 역사적 특징 포함)를 활용해 방법을 검증한다.

실험 결과

연구 질문

• RQ1 교환 가능성과 자기회귀적 데이터 하에서 ACI의 학습률은 예측 간격의 유효성과 효율성에 어떤 영향을 미치는가?
• RQ2 온라인 전문가 집합은 시간적 종속성과 분포 이동이 있는 시간 시리즈에서 ACI의 성능을 향상시킬 수 있는가?
• RQ3 합성 및 실세계 시간 시리즈에서, ACI와 AgACI는 EnbPI 및 OSSCP와 같은 기존 방법들과 비교해 커버리지 유효성과 간격 너비 측면에서 어떻게 다른가?
• RQ4 ACI에서 무한 예측 간격이 나타나는 비율은 얼마나 진정된 예측 과제를 반영하며, γ의 선택은 이러한 행동에 어떤 영향을 미치는가?
• RQ5 실세계 전기 가격 예측 시나리오에서 AgACI는 유효하고 정보적인 예측 간격을 제공할 수 있는가?

주요 결과

• AgACI는 ARMA(1,1), AR(1), MA(1)를 포함한 모든 테스트한 합성 시간 시리즈 모델에서 경쟁 방법들보다 유의미하게 좁은 평균 간격 너비를 확보하며 유효한 예측 간격을 달성한다.
• φ=0.99인 ARMA(1,1) 모델에서 AgACI는 평균 간격 너비 12.14를 기록하여 OSSCP(13.45)와 EnbPI V2(14.21)를 모두 앞선다.
• 실세계 전기 가격 예측 작업에서 γ=0.01을 사용한 AgACI는 2019년 1월 25일 실제 값의 95.4%를 커버했으며, OSSCP 및 EnbPI V2보다 더 좁은 간격을 제공했다.
• γ=0.01일 경우 무한 간격 비율이 유의미하게 감소했다 (예: φ=0.1일 때 7.40% → γ=0.05일 때 22.59%로 증가), 이는 낮은 γ에서 더 보수적이고 타당한 예측을 의미한다.
• φ=0.99일 경우 γ=0.05일 때 3073개 점 중 560개가 무한 간격이었지만, γ=0.01일 때는 이 중 53개만 커버되지 않았고, 이는 γ=0.05에서 발생한 무한 간격의 90.57%가 정당하지 않은 것으로 나타났다.
• 무작위 분할 전략은 순차적 분할 전략보다 유의미하게 좁은 간격을 생성했지만, 약간 낮은 커버리지로 인해 분할 전략 설계 시 상충 관계가 존재함을 시사한다.