[논문 리뷰] ARMA time-series modeling with graphical models

Bo Thiesson, David Maxwell Chickering외 2명|arXiv (Cornell University)|2004. 07. 07.

Neural Networks and Applications참고 문헌 11인용 수 17

한 줄 요약

이 논문은 고전적 ARMA 모델의 결정론적 관계를 고려하여 저분산 정규분포로 대체함으로써 확률적 추론이 가능한 스토케스틱 ARMA(σARMA) 모델을 제안한다. 이는 결측치가 있는 경우에도 EM 기반 학습과 예측이 가능하게 하며, 더 나은 스무딩을 통해 정확도를 향상시키고 다변량 시계열에서의 상호예측자(_cross-predictors_)를 지원한다. 실제 데이터를 통한 실험에서 성능 향상이 입증되었다.

ABSTRACT

We express the classic ARMA time-series model as a directed graphical model. In doing so, we find that the deterministic relationships in the model make it effectively impossible to use the EM algorithm for learning model parameters. To remedy this problem, we replace the deterministic relationships with Gaussian distributions having a small variance, yielding the stochastic ARMA (σARMA) model. This modification allows us to use the EM algorithm to learn parameters and to forecast, even in situations where some data is missing. This modification, in conjunction with the graphical-model approach, also allows us to include cross predictors in situations where there are multiple time series and/or additional non-temporal covariates. More surprising, experiments suggest that the move to stochastic ARMA yields improved accuracy through better smoothing. We demonstrate improvements afforded by cross prediction and better smoothing on real data.

연구 동기 및 목표

• ARMA 모델의 결정론적 관계가 EM 알고리즘을 통한 파라미터 학습과 호환되지 않는 문제를 해결하기 위해.
• 결측 시계열 데이터가 존재하는 상황에서도 강건한 파라미터 추정과 예측을 가능하게 하기 위해.
• 그래프 모델 프레임워크를 통해 다중 시계열 및 비시간적 공변량을 다룰 수 있도록 ARMA를 확장하기 위해.
• 모델에 확률적 성격을 도입함으로써 스무딩을 향상시켜 예측 정확도를 높이기 위해.

제안 방법

• 의존성과 조건부 분포를 명확히 하기 위해 고전적 ARMA 모델을 유향 그래프 모델로 표현하기 위해.
• 확률적 추론이 가능하도록 자기회귀 및 이동평균 항을 평균이 0인 소규모 분산을 가진 정규분포로 대체하기 위해.
• 결과적으로 도출된 σARMA 모델에 대해 EM 알고리즘을 적용하여 파라미터 학습을 수행하고, 확률적 수식을 활용해 계산 가능한 우도 최적화를 실현하기 위해.
• 추가적인 비시간적 공변량을 조건부 분포에 통합하여 그래프 모델을 확장함으로써 상호예측자를 포함한 구조를 구현하기 위해.
• 다중 시계열 간의 공동 추론과 예측을 수행하기 위해 통합된 그래프 구조를 활용하기 위해.
• 그래프 모델의 조건부 독립 성질을 활용하여 사후분포와 예측을 효율적으로 계산하기 위해.

실험 결과

연구 질문

• RQ1 결정론적 관계가 존재하는 ARMA 모델에 대해 표준 학습이 불가능한 상황에서 EM 알고리즘이 효과적으로 적용될 수 있는가?
• RQ2 ARMA 모델에 확률적 성격을 도입함으로써 스무딩과 예측 정확도가 향상되는가?
• RQ3 σARMA 모델이 다변량 시계열에서 결측치를 다룰 수 있고 상호예측자를 효과적으로 통합할 수 있는가?
• RQ4 실제 데이터 기반 예측 성능 측정에서 σARMA 모델은 고전적 ARMA 모델보다 얼마나 우수한가?

주요 결과

• 결정론적 ARMA 관계를 저분산 정규분포로 대체함으로써 EM 알고리즘을 통한 파라미터 학습이 가능해졌다.
• 실험 평가를 통해 더 나은 스무딩 덕분에 σARMA 모델이 향상된 예측 정확도를 달성하였다.
• 그래프 모델 프레임워크 내에서 확률적 추론을 활용함으로써 결측치가 있는 데이터에 대해서도 효과적인 예측이 가능해졌다.
• 그래프 모델 구조 덕분에 상호예측자 및 비시간적 공변량의 통합이 자연스럽게 지원된다.
• 실제 데이터를 대상으로 한 실험 결과, 향상된 스무딩과 상호예측 기능 덕분에 예측 성능 향상이 명백하게 관측되었다.