[논문 리뷰] Conformal prediction set for time-series

Xu Chen, Yao Xie|arXiv (Cornell University)|2022. 06. 15.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 시간열 분류를 위한 앙상블 기반, 분포 자유(conformal prediction) 프레임워크인 ERAPS를 제안한다. 이는 데이터의 교환 가능성(exchangeability)을 가정하지 않고도 유효한 예측 집합을 구성한다. 이론적으로 커버리지 갭을 경계하고, SAPS 및 Naive와 같은 경쟁 방법들보다 더 작고 정확도가 높은 예측 집합을 경험적으로 확보하며, 복잡한 시간적 종속성 하에서도 유효한 마진형 및 조건부 커버리지 유지한다.

ABSTRACT

When building either prediction intervals for regression (with real-valued response) or prediction sets for classification (with categorical responses), uncertainty quantification is essential to studying complex machine learning methods. In this paper, we develop Ensemble Regularized Adaptive Prediction Set (ERAPS) to construct prediction sets for time-series (with categorical responses), based on the prior work of [Xu and Xie, 2021]. In particular, we allow unknown dependencies to exist within features and responses that arrive in sequence. Method-wise, ERAPS is a distribution-free and ensemble-based framework that is applicable for arbitrary classifiers. Theoretically, we bound the coverage gap without assuming data exchangeability and show asymptotic set convergence. Empirically, we demonstrate valid marginal and conditional coverage by ERAPS, which also tends to yield smaller prediction sets than competing methods.

연구 동기 및 목표

• 시간열 분류를 위한 확률적 예측 프레임워크를 개발하여, 순차적 자료에서 제한적인 가정인 데이터의 교환 가능성에 의존하지 않도록 한다.
• 특성과 반응 변수 간의 임의의 종속성 하에서도 유효한 마진형 및 조건부 커버리지로 예측 집합을 구성한다.
• 앙상블 방법과 적응형 비합리성 점수(non-conformity scoring)를 활용하여 효율성과 정확도를 향상시킨다.
• i.i.d. 또는 교환 가능성 가정 없이도 이론적으로 커버리지 갭을 경계하고 점차적 수렴을 입증한다.
• 실제 시간열 데이터셋을 대상으로 경험적으로 방법을 검증하여 더 작은 집합 크기와 강인한 커버리지 성능을 보여준다.

제안 방법

• ERAPS는 임의의 분류기 앙상블을 사용하여 클래스 확률을 추정함으로써 모델 불확실성에 대한 강건성을 확보한다.
• 예측된 클래스 확률에 기반한 비합리성 점수를 계산하고, 과거 관측치의 윈도우를 활용해 이러한 점수의 경험적 분포를 추정한다.
• 예측 집합은 과거 비합리성 점수의 경험적 분포에서 $(1 - \alpha)$-분위수로 정의된 임계값 이하에 속하는 모든 클래스를 포함함으로써 구성된다.
• 이 방법은 시간적 종속성을 고려한 가중치 체계를 도입하여, 교환 가능성 없이도 성능을 향상시킨다.
• 이론적 분석은 총 변동 거리(total variation distances)를 사용해 커버리지 갭을 경계하고, 예측 집합이 진정한 조건부 커버리지 수준으로 점차 수렴함을 증명한다.
• 이 프레임워크는 기본 분류기의 선택에 관계없이 적용 가능하므로, 로지스틱 회귀, 랜덤 포레스트, 딥 네트워크 등 다양한 모델에 적용 가능하다.

실험 결과

연구 질문

• RQ1 시간열 분류에 대해 데이터의 교환 가능성 가정 없이도 확률적 예측이 효과적으로 확장될 수 있는가?
• RQ2 시간적 종속성이 존재하는 시간열 분류에서 앙상블 기반 접근이 예측 집합의 정확도와 크기를 향상시킬 수 있는가?
• RQ3 ERAPS는 교환 가능성 없이 종속적인 시간열 설정에서도 유효한 마진형 및 조건부 커버리지를 달성하는가?
• RQ4 SAPS 및 Naive와 같은 기존의 확률적 예측 방법들과 비교해 ERAPS는 집합 크기와 커버리지 유효성 측면에서 어떻게 성과를 내는가?
• RQ5 일반적인 종속성 구조 하에서 커버리지 갭과 집합 수렴에 대해 어떤 이론적 보장을 제공할 수 있는가?

주요 결과

• ERAPS는 복잡한 시간적 종속성을 포함한 모든 테스트 데이터셋에서 유효한 마진형 및 조건부 커버리지를 달성한다.
• SAPS 및 Naive보다 일관되게 더 작은 예측 집합을 생성하며, 일부 구간에서는 커버리지 손실 없이 최대 30%까지 집합 크기를 감소시킨다.
• 대부분의 구간에서 조건부 커버리지가 유지되며, 희귀한 이상치 사례(예: 작물 데이터에서 α=0.15)에서만 약간의 과소 커버리지가 관찰된다.
• 이론적 분석 결과, 교환 가능성 가정 없이도 커버리지 갭이 경계됨을 입증하였고, 예측 집합이 점차적으로 진짜 조건부 커버리지 수준으로 수렴함을 보였다.
• 경험적 결과는 ERAPS가 마진형 및 집합 크기 효율성 측면에서 비앙상블 기반 기준선들보다 뛰어나다는 것을 확인한다.
• 이 프레임워크는 모델 선택에 대해 강인하며, 딥 네트워크를 포함한 다양한 기본 분류기에서도 뛰어난 성능을 유지한다.