[논문 리뷰] State Space Reconstruction for Multivariate Time Series Prediction

Ilias Vlachos, Dimitris Kugiumtzis|ArXiv.org|2008. 09. 12.

Neural Networks and Applications참고 문헌 1인용 수 10

한 줄 요약

이 논문은 비선형 시계열 예측에서 다변량 상태공간 재구성에 대한 두 가지 방법, 가짜 근접 이웃(FNN2)과 예측 오차 최소화(PEM)를 제안하고 비교한다. PEM은 예측 성능가 뛰어나지만 과적합과 일관되지 않은 임베딩 차원을 초래하는 경향이 있으며, FNN2는 더 일관되고 낮은 차원의 임베딩을 제공하여 시스템의 진정한 자유도를 더 잘 반영한다.

ABSTRACT

In the nonlinear prediction of scalar time series, the common practice is to reconstruct the state space using time-delay embedding and apply a local model on neighborhoods of the reconstructed space. The method of false nearest neighbors is often used to estimate the embedding dimension. For prediction purposes, the optimal embedding dimension can also be estimated by some prediction error minimization criterion. We investigate the proper state space reconstruction for multivariate time series and modify the two abovementioned criteria to search for optimal embedding in the set of the variables and their delays. We pinpoint the problems that can arise in each case and compare the state space reconstructions (suggested by each of the two methods) on the predictive ability of the local model that uses each of them. Results obtained from Monte Carlo simulations on known chaotic maps revealed the non-uniqueness of optimum reconstruction in the multivariate case and showed that prediction criteria perform better when the task is prediction.

연구 동기 및 목표

• 비선형 시계열 예측에서 다변량 상태공간 재구성에 대한 일관되고 최적의 방법이 부족한 문제를 해결하기 위해.
• 기존의 단변량 임베딩 기준, 즉 가짜 근접 이웃(FNN)과 예측 오차 최소화(PEM) 기준이 다변량 시스템으로 효과적으로 확장될 수 있는지 평가하기 위해.
• 다양한 다변량 시스템과 데이터 조건에서 임베딩 차원 선택의 예측 성능와 일관성을 평가하기 위해.
• 다변량 비선형 역학에서 임베딩 차원과 예측 정확도 사이의 상호 상충 관계를 조사하기 위해.
• 표본 크기, 결합 강도, 시스템 복잡도가 임베딩 선택의 신뢰성에 미치는 영향을 탐색하기 위해.

제안 방법

• 모든 변수에 대한 임베딩 차원 조합을 시험함으로써 다변량 시계열에 대해 가짜 근접 이웃(FNN) 방법을 확장하여 FNN2를 적용하고, 흩어진 애트랙터를 펼 수 있는 최소 임베딩을 식별함.
• 예측 오차 최소화(PEM) 기준을 구현하여 외부 샘플 예측 오차를 기반으로 임베딩 차원을 선택함으로써 예측 정확도를 최적화함.
• 다양한 차원, 결합 강도, 표본 크기를 가진 알려진 혼돈 시스템(예: 결합된 Hénon 맵, 주도-응답 시스템)을 대상으로 몬테카를로 시뮬레이션을 수행하여 두 방법을 비교함.
• 각 시뮬레이션에서 k개의 시계열에 대해 선택된 임베딩 벡터(m₁, m₂, ..., mₖ)를 평가함. 여기서 mᵢ는 i번째 변수의 임베딩 차원임.
• 재구성된 상태공간에 국소 예측 모델을 적용하고 테스트 세트를 사용하여 예측 오차를 계산하여 성능을 평가함.
• FNN2와 PEM 간의 선택된 임베딩 차원과 예측 오차를 비교하여 일관성, 과적합, 예측 능력의 정도를 평가함.

실험 결과

연구 질문

• RQ1 가짜 근접 이웃 방법이 다변량 시계열에 효과적으로 확장되어 최소이자 일관된 임베딩 차원을 찾을 수 있는가?
• RQ2 예측 오차 최소화(PEM) 기준이 다변량 비선형 시스템에서 FNN2보다 더 정확한 예측을 도출하는가?
• RQ3 표본 크기와 결합 강도가 임베딩 차원 선택 방법의 일관성과 성능에 어떤 영향을 미치는가?
• RQ4 PEM이 과도하게 높은 임베딩 차원을 선택함으로써 과적합을 초래하는 정도는 어느 정도인가?
• RQ5 다변량 시스템에서 다수의 최적 임베딩 구조가 존재하는가? 그리고 이러한 구조들은 예측 성능에 어떤 영향을 미치는가?

주요 결과

• 예측 오차 최소화(PEM)는 모든 테스트 시스템과 조건에서 FNN2보다 일관되게 뛰어난 예측 정확도를 보였다.
• PEM은 종종 필요 이상으로 높은 임베딩 차원을 선택함으로써 과적합 경향과 표본 크대 증가에 따른 일관성 부족을 보였다.
• FNN2는 더 일관되고 낮은 차원의 임베딩을 제공하여 특히 동역학이 알려진 시스템에서 시스템의 진정한 자유도를 더 잘 반영하였다.
• 작은 표본 크기와 중간 정도의 결합 강도 조건에서 FNN2는 k=3 및 k=4의 결합된 Hénon 맵 격자에서 PEM보다 안정적인 임베딩 구조 선택에 더 신뢰할 수 있었다.
• FNN2와 PEM은 자주 다수의 최적 임베딩 벡터를 선택함으로써 다변량 시스템에서 최적 재구성의 유일성 부재를 보여주었다.
• 시계열에 노이즈를 추가하면 FNN2와 PEM이 동등한 임베딩(예: (2,0), (0,2), (1,1)) 중에서 무작위로 선택하게 되어 임베딩 선택의 노이즈 민감도를 드러냈다.