[논문 리뷰] Theory and Algorithms for Forecasting Time Series

Vitaly Kuznetsov, Mehryar Mohri|arXiv (Cornell University)|2018. 03. 15.

Complex Systems and Time Series Analysis참고 문헌 22인용 수 8

한 줄 요약

이 논문은 비정상성과 혼합성 조건을 갖지 않는 시간 시리즈 예측을 위한 데이터에 의존하는 일반화 경계를 제안한다. 새로운 이질도 측정법과 순차적 복잡도를 활용하며, 정상성 또는 혼합성 가정 없이도 이론적 보장을 갖는 볼록 최적화 기반 알고리즘을 제안한다. 이는 약한 의존성 하에서도 실용적인 예측을 가능하게 한다.

ABSTRACT

We present data-dependent learning bounds for the general scenario of non-stationary non-mixing stochastic processes. Our learning guarantees are expressed in terms of a data-dependent measure of sequential complexity and a discrepancy measure that can be estimated from data under some mild assumptions. We also also provide novel analysis of stable time series forecasting algorithm using this new notion of discrepancy that we introduce. We use our learning bounds to devise new algorithms for non-stationary time series forecasting for which we report some preliminary experimental results.

연구 동기 및 목표

• 시간 시리즈 예측에서 비정상성 및 비혼합성 스토케스틱 과정에 대한 일반화 경계 부족 문제를 해결한다.
• 약한 가정 하에서 데이터로부터 추정 가능한 이질도 측정법을 정의하여 데이터에 의존하는 학습 보장을 가능하게 한다.
• 안정성 기반 분석을 비정상성 및 비혼합성 과정으로 확장하여 예측 알고리즘 설계를 지원한다.
• 비볼록 최대우도 추정 및 차분 변환을 피하는 볼록 최적화 기반 예측 알고리즘을 설계한다.
• 전통적인 시간 시리즈 모델에서 흔히 사용되는 정상성 및 혼합성 가정 위반에 대해 강건한 예측 모델의 이론적 기초를 제공한다.

제안 방법

• 비정상 과정에서의 분포 이질도를 측정하기 위해 표본 분포와 목표 분포 간의 데이터에 의존하는 이질도 측정법을 도입한다.
• 순차적 복잡도 측정으로서 기대 순차적 커버링 수와 순차적 라데마처 복잡도를 사용한다.
• 순차적 복잡도와 이질도를 결합한 일반화 경계를 유도하며, 이는 유계 및 무계 메모리 모델 모두에 유효하다.
• 안정성 있는 예측 알고리즘에 경계를 적용하여 이전의 혼합성 가정 기반 결과를 비혼합성 및 비정상성 설정으로 확장한다.
• 목표 함수를 이중화하고 변수 $ q_t $ 를 통한 재가중 전략을 도입하여 시간 시리즈 예측을 위한 볼록 최적화 문제를 제시한다. 이는 해석 가능한 알고리즘을 도출한다.
• 기본 최적화 문제를 효율적인 계산에 적합한 이중 형태로 변환하기 위해 변수 $ r_t = 1/q_t $ 의 변수 변환을 사용한다.

실험 결과

연구 질문

• RQ1 비정상성 및 비혼합성 스토케스틱 과정 하에서 시간 시리즈 예측에 대해 일반화 경계를 설정할 수 있는가?
• RQ2 혼합성 또는 정상성 조건이 없더라도 데이터로부터 추정 가능한 이질도 측정법을 정의할 수 있는가? 이를 통해 데이터에 의존하는 학습 보장을 가능하게 할 수 있는가?
• RQ3 안정성 기반 분석을 비정상성 및 비혼합성 과정으로 확장하여 알고리즘 설계를 지원할 수 있는가?
• RQ4 볼록 최적화를 사용하여 비볼록 최대우도 추정 및 차분 변환을 피하는 예측 알고리즘을 설계할 수 있는가?
• RQ5 제안된 경계와 알고리즘이 실생활에서 고전적 ARIMA 및 i.i.d. 학습 이론 가정에 비해 어느 정도 향상되는가?

주요 결과

• 이 논문은 비정상성 및 비혼합성 스토케스틱 과정에 대해 처음으로 일반화 경계를 확립하였으며, 이는 정상성 경우조차도 새로운 결과이다.
• 제안된 이질도 측정법은 약한 가정 하에서 데이터로부터 추정 가능하며, 혼합성 또는 정상성 조건 없이도 데이터에 의존하는 학습 보장을 가능하게 한다.
• 제안된 예측 알고리즘은 볼록 최적화 기반으로 구성되어 있으며, 유일한 전역 최적해를 보장하고 최대우도 추정의 비볼록성 문제를 피한다.
• 이론적 경계는 예측 오차가 순차적 복잡도와 표본 분포 및 목표 분포 간의 이질도에 의해 제어됨을 보여준다.
• 알고리즘은 일반화 오차 경계를 $ ext{disc}( extbf{q}) + G( extbf{q}) $ 의 형태로 달성한다. 여기서 $ G( extbf{q}) $ 는 $ ilde{C}_T $, $ extbf{q}^* $, 그리고 최적 가중 벡터와의 $ L_1 $-거리에 대한 로그 항에 의존한다.
• 초기 실험 결과는 제안된 알고리즘이 비정상적 환경에서 실현 가능하고 효과적임을 보이며, 최적화 안정성과 강건성 측면에서 기존 방법을 능가함을 시사한다.