[논문 리뷰] Forecasting Time Series with VARMA Recursions on Graphs

Elvin Isufi, Andreas Loukas외 2명|RePEc: Research Papers in Economics|2018. 10. 19.

Time Series Analysis and Forecasting인용 수 7

한 줄 요약

이 논문은 그래프에서의 동시 시간-정점 정 stationarity를 활용하여 다변량 시계열 예측을 위한 그래프 정규화 VARMA 프레임워크를 제안한다. 데이터를 그래프 스펙트럼 도메인으로 투영함으로써, 다변량 예측 문제를 상관관계가 없는 단변량 ARMA 모델로 환원하고, 저랭크 근사화를 가능하게 하여 추정 비용을 크게 낮추면서도 최신 기법들보다 높은 예측 정확도를 달성한다.

ABSTRACT

Graph-based techniques emerged as a choice to deal with the dimensionality issues in modeling multivariate time series. However, there is yet no complete understanding of how the underlying structure could be exploited to ease this task. This work provides contributions in this direction by considering the forecasting of a process evolving over a graph. We make use of the (approximate) time-vertex stationarity assumption, i.e., timevarying graph signals whose first and second order statistical moments are invariant over time and correlated to a known graph topology. The latter is combined with VAR and VARMA models to tackle the dimensionality issues present in predicting the temporal evolution of multivariate time series. We find out that by projecting the data to the graph spectral domain: (i) the multivariate model estimation reduces to that of fitting a number of uncorrelated univariate ARMA models and (ii) an optimal low-rank data representation can be exploited so as to further reduce the estimation costs. In the case that the multivariate process can be observed at a subset of nodes, the proposed models extend naturally to Kalman filtering on graphs allowing for optimal tracking. Numerical experiments with both synthetic and real data validate the proposed approach and highlight its benefits over state-of-the-art alternatives.

연구 동기 및 목표

• 그래프 구조적 의존성의 특성을 활용하여 고차원 다변량 시계열 예측 과제를 해결하고자 한다.
• 시간과 그래프 이동에 대해 통계적 모멘트가 불변인 동시 시간-정점 정 stationarity를 활용하여 모델 일반화 능력을 향상시키고자 한다.
• 다변량 VARMA 추정 문제를 그래프 스펙트럼 도메인에서 독립적인 단변량 ARMA 모델들로 변환하여 계산 복잡도를 감소시키고자 한다.
• 그래프 기반 칼만 필터링을 통해 부분 관측된 과정을 최적으로 추적할 수 있도록 하고자 한다.
• 예측 정확도를 유지하면서 추정 비용을 최소화하는 저랭크 데이터 표현을 제공하고자 한다.

제안 방법

• 모델은 시간-정점 신호의 동시 광의 정 stationarity를 가정하여 그래프 라플라시안 고유분해를 통한 스펙트럼 모델링이 가능하다.
• 다변량 시계열을 그래프 푸리에 변환을 사용하여 그래프 스펙트럼 도메인으로 투영함으로써, 시스템이 상관관계가 없는 단변량 ARMA 과정들로 분리된다.
• VARMA 모델은 스펙트럼 도메인에서 재구성되며, 각 정점의 신호가 독립적인 ARMA 과정으로 모델링되어 차원 감소와 계산 비용 감소가 이루어진다.
• 그래프 신호 공분산의 K개 최대 고유성분을 선택하여 에크하르트–영–미르스키 정리에 따라 재구성 오차를 최소화하는 저랭크 근사화가 적용된다.
• 부분 관측 데이터의 경우, 칼만 필터링을 그래프 기반으로 확장하여 순차적 업데이트를 통한 최적 추적을 가능하게 한다.
• 스펙트럼 투영을 통해 부드러움과 밴드제한성 특성을 강제함으로써 노이즈와 제한된 학습 샘플에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 동시 시간-정점 정 stationarity는 그래프 상의 다변량 시계열 예측 문제를 단순화하는 데 활용될 수 있는가?
• RQ2 문제를 그래프 스펙트럼 도메인으로 변환함으로써 추정 복잡도를 감소시키면서도 예측 정확도를 유지할 수 있는가?
• RQ3 스펙트럼 도메인에서의 저랭크 근사화는 예측 성능과 계산 비용에 어떤 영향을 미치는가?
• RQ4 제안된 모델은 전체 관측 및 부분 관측 설정 모두에서 최신 기법들을 능가하는가?
• RQ5 비구조적 다변량 모델에 비해 그래프 구조는 예측 정확도 향상에 어느 정도 기여하는가?

주요 결과

• G-VARMA 모델은 분리된 ARMA 및 GP-VAR 모델보다 낮은 예측 오차를 기록하며, 다단계 예측에서 성능 격차가 더욱 커진다.
• 제안된 저랭크 근사화는 재구성 오차를 최소화하고 정확도를 손상시키지 않으면서도 계산 비용을 크게 감소시킨다.
• 그래프 기반 칼만 필터링은 부분 관측된 과정의 최적 추적을 가능하게 하며, 시간이 지남에 따라 더 많은 정점을 샘플링할수록 rNMSE가 감소한다.
• 모델은 합성 및 실세계 데이터 모두에서 기존 방법들을 능가하며, 제한된 학습 샘플이 있는 고차원 설정에서 특히 두각을 나타낸다.
• 이론적 분석을 통해 최적의 저랭크 표현은 그래프 신호의 스펙트럼 에너지에서 K개 최대 성분을 선택함으로써 달성됨을 확인하였다.
• 실험 결과는 비구조적 VARMA 또는 독립적인 ARMA 모델보다 그래프 정규화 ARMA 모델이 더 안정적이고 정확한 예측을 제공함을 보여준다.