[논문 리뷰] High-Dimensional Multivariate Forecasting with Low-Rank Gaussian Copula Processes

David Salinas, Michael Bohlke‐Schneider외 3명|arXiv (Cornell University)|2019. 10. 07.

Time Series Analysis and Forecasting인용 수 38

한 줄 요약

본 논문은 LSTM 기반 autoregressive 모델과 저랭크 플러스 대각 Gaussian copula 출력을 결합하여 차원 공간이 큰 다변량 예측을 위한 확장 가능하고 확률적인 프레임워크를 제시하고, 비가우시안 주변분포를 갖는 수천 개의 시계열에 걸친 시변 상관관계를 가능하게 한다.

ABSTRACT

Predicting the dependencies between observations from multiple time series is critical for applications such as anomaly detection, financial risk management, causal analysis, or demand forecasting. However, the computational and numerical difficulties of estimating time-varying and high-dimensional covariance matrices often limits existing methods to handling at most a few hundred dimensions or requires making strong assumptions on the dependence between series. We propose to combine an RNN-based time series model with a Gaussian copula process output model with a low-rank covariance structure to reduce the computational complexity and handle non-Gaussian marginal distributions. This permits to drastically reduce the number of parameters and consequently allows the modeling of time-varying correlations of thousands of time series. We show on several real-world datasets that our method provides significant accuracy improvements over state-of-the-art baselines and perform an ablation study analyzing the contributions of the different components of our model.

연구 동기 및 목표

• 다수의 관련 시계열을 예측하는 도전과제를 동기 부여하고, 큰 공분산 행렬을 추정하지 않고도 시변 의존성을 포착합니다.
• 자체 매개변수를 공유하는 autoregressive 신경망과 저랭크 공분산 구조를 결합한 확장 가능합니다.
• Copula 기반 변환을 통해 비가우시안 주변분포를 다루어 이질적 시리즈 간 학습을 안정화합니다.
• 실제 대규모 데이터셋에서 예측 정확도를 향상시키면서 계산 효율성을 유지합니다.

제안 방법

• 모든 시계열에 대해 공유 매개변수를 갖는 순환신경망(LSTM)을 사용하여 시계열별 잠재 상태를 발전시킵니다.
• 결합된 방출 p(z_t | h_t)을 각 순서의 변환 f_i를 통한 주변 분포를 경험적 CDF로 표준화하는 가우시안 코퓰라로 모델링합니다.
• 공분산을 저랭크 플러스 대각 행렬 Sigma(h_t) = D_t + V_t V_t^T로 매개화하며, V_t와 D_t는 각 시계열 특성 및 LSTM 상태의 공유 함수로 생성됩니다.
• 주변 분포를 f_i = Phi^{-1} ђ_hat_i를 통해 변환하여 다양한 규모와 비가우시안 특성을 다루고, 고차원에 대한 가우시안 코퓰라를 가능하게 합니다.
• 변환된 관측 x_t를 시변 가우시안 프로세스로 간주하고 구조화된 커널을 사용하여 배치 크기 B << N에서의 확장 가능한 학습을 가능하게 합니다.
• 장Sequence를 다루는 데이터 증강 전략으로 고정 길이 슬라이스를 샘플링하여 엔드투엔드 최대우도 학습으로 학습합니다.

실험 결과

연구 질문

• RQ1 저랭크 공분산 구조와 가우시안 코퓰라 출력이 수천 개의 시계열에서 정확한 확률적 예측을 가능하게 할까요?
• RQ2 ,
• RQ3 시계열 간 매개변수 공유와 각 시계열의 주변 변환이 정확도를 희생하지 않으면서 확장성을 개선할까요?
• RQ4 비가우시안 주변 분포가 다변량 예측에 미치는 영향은 무엇이며, 코퓰라 기반 처리가 다양한 시리즈 간 성능의 안정화를 보장할 수 있을까요?
• RQ5 대규모 데이터셋에서 저랭크 매개변수 선택이 예측 정확도와 계산 효율성에 미치는 영향은 무엇일까요?

주요 결과

• 제안된 GP-Copula는 저랭크 공분산 구조를 통해 여러 실제 데이터셋에서 벤치마크 대비 현저한 정확도 향상을 달성합니다.
• 정확도 향상에는 CRPS 및 CRPS-Sum 지표의 상당한 감소가 포함되며, 매개변수 효율성도 두드러집니다.
• 모델의 확장성은 공분산을 O(N^2)에서 O(N r)로 줄여 N이 수천에 이를 때도 데이터셋을 처리할 수 있게 합니다(보통 r은 N보다 훨씬 작음).
• 경험적 CDF를 통한 경험적 주변 변환이 규모와 비가우시안성 문제를 효과적으로 해결하여 단순한 평균 스케일링 방법보다 로버스트함을 향상시킵니다.
• 예측 상관 그래프의 시각화를 통해 Taxi와 같은 데이터셋에서 시간에 따라 진화하는 상관 구조를 해석 가능하게 제공합니다.