[논문 리뷰] Approximate leave-future-out cross-validation for time series models

Paul‐Christian Bürkner, Jonah Gabry외 1명|arXiv (Cornell University)|2019. 02. 17.

Gaussian Processes and Bayesian Inference인용 수 6

한 줄 요약

이 논문은 시간 시리즈 모델을 위한 효율적인 근사적 라이브-패스트아웃 교차검증(LOO-CV) 방법을 제안한다. 이 방법은 중요도 샘플링을 개선한 파레토 스무딩 중요도 샘플링(PSIS)을 사용하여 계산 비용을 크게 줄이고 정확도를 유지한다. 이 접근법은 미래 예측 작업을 시뮬레이션함으로써 예측 성능을 신뢰할 수 있게 추정하며, 시간적 설정에서의 라이브-원아웃 교차검증(LOO-CV)이 가지는 지나친 낙관적 편향을 피한다.

ABSTRACT

One of the common goals of time series analysis is to use the observed series to inform predictions for future observations. In the absence of any actual new data to predict, cross-validation can be used to estimate a model's future predictive accuracy, for instance, for the purpose of model comparison or selection. As exact cross-validation for Bayesian models is often computationally expensive, approximate cross-validation methods have been developed; most notably methods for leave-one-out cross-validation (LOO-CV). If the actual prediction task is to predict the future given the past, LOO-CV provides an overly optimistic estimate as the information from future observations is available to influence predictions of the past. To tackle the prediction task properly and account for the time series structure, we can use leave-future-out cross-validation (LFO-CV). Like exact LOO-CV, exact LFO-CV requires refitting the model many times to different subsets of the data. Using Pareto smoothed importance sampling, we propose a method for approximating exact LFO-CV that drastically reduces the computational costs while also providing informative diagnostics about the quality of the approximation.

연구 동기 및 목표

• 시간 시리즈에서 라이브-원아웃 교차검증(LOO-CV)의 한계를 해결하기 위해, 미래 정보 유출로 인해 지나치게 낙관적인 추정치를 제공하는 문제를 해결한다.
• 반복적인 모델 재적합이 필요한 정확한 라이브-패스트아웃 교차검증(LFO-CV)의 계산 비용을 줄인 효율적인 대안을 개발한다.
• 미래 예측 작업을 위한 신뢰할 수 있는 모델 비교 및 선택을 가능하게 하기 위해, 아직 보지 못한 미래 데이터에 대한 예측 성능을 정확하게 추정한다.
• 근사의 품질에 대한 정보 제공 진단을 통해 실용적 응용에서 신뢰성 있는 결과를 보장한다.

제안 방법

• 이 방법은 파레토 스무딩 중요도 샘플링(PSIS)을 사용하여 각 미래 관측치를 생략한 것처럼 보이는 정확한 LFO-CV를 모델 재적합 없이 근사한다.
• 단일한 전체 모델 적합에서 유도된 사후 샘플을 재가중하여, 각 미래 관측치가 생략된 것처럼 예측 성능을 추정한다.
• 예측이 과거 관측치에 대해서만 이전 데이터에 기반하도록 하여 시간적 구조를 고려함으로써, 실제 미래 예측을 모방한다.
• PSIS는 일반화된 파레토 분포를 사용해 중요도 가중치를 안정화시켜 정확도를 향상시키고, 형태 파라미터를 통해 진단 검사를 가능하게 한다.
• 근사 정확도에 영향을 줄 수 있는 고리스크 향후 관측치를 감지하며, 결과가 신뢰할 수 없을 경우 경고를 제공한다.
• 최종 근사 방법은 예측 밀도의 기대값(log predictive density, ELPD)을 빠르게 계산할 수 있게 하여 모델 비교에 유용하다.

실험 결과

연구 질문

• RQ1 시간 시리즈 모델에서 계산 비용을 줄이면서도 정확도를 유지하는 근사적 LFO-CV 방법을 개발할 수 있는가?
• RQ2 제안된 PSIS-LFO-CV 방법은 정확한 LFO-CV와 비교해 예측 성능 추정에서 어떤가?
• RQ3 근사적 LFO-CV 결과의 신뢰성 평가를 위한 어떤 진단을 제공할 수 있는가?
• RQ4 이 방법은 시간 시리즈 데이터에 적용했을 때 LOO-CV가 내재한 낙관적 편향을 피할 수 있는가?
• RQ5 반복적인 전체 모델 재적합 없이도 이 방법을 베이지안 시간 시리즈 모델에 효율적으로 적용할 수 있는가?

주요 결과

• 제안된 PSIS-LFO-CV 방법은 정확한 LFO-CV와 유사한 예측 성능 추정을 제공하면서도 계산 비용을 크게 줄였다.
• 일반화된 파레토 분포의 형태 파라미터를 통해 신뢰할 수 있는 진단 정보를 제공하여 근사가 신뢰할 수 없는 경우를 식별한다.
• 단일한 전체 모델 적합만으로도 반복적인 재적합이 필요 없어지며, 이는 큰 시간 시리즈 데이터에 대해서도 확장 가능성을 보장한다.
• 시간적 의존성을 정확히 반영함으로써, 시간 시리즈 맥락에서 LOO-CV가 앓는 미래 정보 유출 문제를 피한다.
• 복잡한 베이지안 시간 시리즈 모델에서도 정확한 모델 비교 및 선택을 가능하게 하여 미래 예측 작업에 적합하다.