[논문 리뷰] Deep reconstruction of strange attractors from time series

William Gilpin|arXiv (Cornell University)|2020. 02. 14.

Neural dynamics and brain function참고 문헌 77인용 수 35

한 줄 요약

이 논문은 false-nearest-neighbor 잠재 공간 정규화기를 이용한 신경 자동인코더 기반 방법으로 저차 시계열에서 고차 어트랙터를 재구성하여 알려진 시스템과 알려지지 않은 시스템 간에 일관된 다이나믹스와 예측을 가능하게 한다.

ABSTRACT

Experimental measurements of physical systems often have a limited number of independent channels, causing essential dynamical variables to remain unobserved. However, many popular methods for unsupervised inference of latent dynamics from experimental data implicitly assume that the measurements have higher intrinsic dimensionality than the underlying system---making coordinate identification a dimensionality reduction problem. Here, we study the opposite limit, in which hidden governing coordinates must be inferred from only a low-dimensional time series of measurements. Inspired by classical analysis techniques for partial observations of chaotic attractors, we introduce a general embedding technique for univariate and multivariate time series, consisting of an autoencoder trained with a novel latent-space loss function. We show that our technique reconstructs the strange attractors of synthetic and real-world systems better than existing techniques, and that it creates consistent, predictive representations of even stochastic systems. We conclude by using our technique to discover dynamical attractors in diverse systems such as patient electrocardiograms, household electricity usage, neural spiking, and eruptions of the Old Faithful geyser---demonstrating diverse applications of our technique for exploratory data analysis.

연구 동기 및 목표

• 저차 시계열로부터 숨겨진 지배 좌표를 추론하여 부분 관측 문제를 해결한다.
• 일변량 및 다변량 시계열에 대해 어트랙터의 구조를 복원하는 일반적인 임베딩 기법을 개발한다.
• 진짜 시스템 차원에 근접한 임베딩 차원을 추정하기 위해 희소성 촉진 잠재 공간 정규화를 도입한다.
• 노이즈에 대한 강건성과 다양한 실제 데이터 세트에의 적용 가능성을 보여준다.
• 재구성된 어트랙터를 원래 다이나믹스와 비교하는 지표를 제공하고 예측 능력을 보여준다.

제안 방법

• 시계열에서 파생된 Hankel 행렬에 대해 스택드 오토인코더를 학습시켜 어트랙터의 잠재 좌표를 학습한다.
• 참신한 잠재 공간 손실인 false-nearest-neighbor 손실을 사용하여 실제 어트랙터 차원(d_E ≈ d)과 가까운 차원의 임베딩을 촉진한다.
• 손실을 잠재 단위 전반의 배치 평균 False-Nearest-Neighbors 비율로 표현하고, 필요 없는 차원을 억제하기 위해 잠재 활성에 가중치를 둔다.
• 구성 결과를 Procrustes 분석으로 원래 어트랙터와 정렬하고, Euclidean 거리, DTW, 교차매핑에 의한 예측, 이웃 정확도, 차원 유사성, 위상적 및 프랙탈 지표 등 여러 유사도 지표를 사용해 평가한다.
• 다양한 혼돈 시스템 및 실제 데이터 세트에서 LSTM 및 MLP 인코더를 사용한 실험을 수행하고 ETD, tICA, 비정규화(autoencoder) 등과 같은 기준과 비교한다.

실험 결과

연구 질문

• RQ1 잠재 공간 정규화된 오토인코더가 단변량 또는 저차 시계열에서 보이지 않는 더 높은 차원의 동적 좌표를 재구성할 수 있는가?
• RQ2 false-nearest-neighbor 정규화기가 적절한 고유 차원성과 어트랙터 유사성을 향상시키는 임베딩을 제공하는가?
• RQ3 노이즈 및 비정상성에 대한 강건성은 어떠하며 장기 예측이 가능한가?
• RQ4 임베딩이 다양한 실제 데이터 세트(ECG, geyser eruptions, electricity usage, neuronal spiking)에서 일관된 어트랙터를 드러내는가?

주요 결과

• false-nearest-neighbor 정규화기는 기준선 대비 데이터세트 전반에서 어트랙터 유사성을 지속적으로 향상시킨다.
• 임베딩 차원 정확도(S_dim)는 정규화에 따라 향상되며 여러 regime에서 강건하게 유지되며, d_E ≈ d.
• 정규화된 모델은 노이즈 아래 예측 정확도 감소가 느리고 비정규화된 것보다 더 긴 예측 수평선을 보인다.
• 알려지지 않은 데이터 세트의 임베딩은 ECG에서 중첩 루프와 geyser 데이터에서 준주기적 토러스와 같은 해석 가능한 어트랙터 구조를 드러낸다.
• 이 방법은 저차 및 고차 혼돈 시스템 모두에 효과적이며 실제 시간 시계열의 탐색적 분석을 가능하게 한다.