[论文解读] Deep reconstruction of strange attractors from time series

William Gilpin|arXiv (Cornell University)|Feb 14, 2020

Neural dynamics and brain function参考文献 77被引用 35

一句话总结

本文提出一种基于神经自编码器的方法，结合一个 false-nearest-neighbor 潜在空间正则化器，从低维时间序列重建高维吸引子，实现已知与未知系统之间的一致动态和预测。

ABSTRACT

Experimental measurements of physical systems often have a limited number of independent channels, causing essential dynamical variables to remain unobserved. However, many popular methods for unsupervised inference of latent dynamics from experimental data implicitly assume that the measurements have higher intrinsic dimensionality than the underlying system---making coordinate identification a dimensionality reduction problem. Here, we study the opposite limit, in which hidden governing coordinates must be inferred from only a low-dimensional time series of measurements. Inspired by classical analysis techniques for partial observations of chaotic attractors, we introduce a general embedding technique for univariate and multivariate time series, consisting of an autoencoder trained with a novel latent-space loss function. We show that our technique reconstructs the strange attractors of synthetic and real-world systems better than existing techniques, and that it creates consistent, predictive representations of even stochastic systems. We conclude by using our technique to discover dynamical attractors in diverse systems such as patient electrocardiograms, household electricity usage, neural spiking, and eruptions of the Old Faithful geyser---demonstrating diverse applications of our technique for exploratory data analysis.

研究动机与目标

• 通过从低维时间序列推断隐藏的控制坐标来解决部分观测问题。
• 开发一种适用于单变量与多变量序列的通用嵌入技术，以恢复吸引子的结构。
• 引入促进稀疏性的潜在空间正则化器，以估计嵌入维数接近真实系统维数。
• 展示对噪声的鲁棒性及对多样化实际数据集的适用性。
• 提供度量标准以比较重构的吸引子与原始动态并展示预测能力。

提出的方法

• 在由时间序列导出的 Hankel 矩阵上训练一个堆叠自编码器，以学习吸引子潜在坐标。
• 使用一种新颖的潜在空间损失，即 false-nearest-neighbor loss，以促进维数接近真实吸引子维数（d_E ≈ d）的嵌入。
• 将损失表示为跨潜在单元的批量平均的 false-nearest-neighbors 分数，对潜在活动加权以抑制不必要的维度。
• 通过 Procrustes 分析将重构与原始吸引子对齐，并使用多种相似性度量进行评估（欧氏距离、DTW、通过交叉映射的预测、邻域准确性、维度相似性、以及拓扑和分形量度）。
• 在各种混沌和现实数据集上测试 LSTM 和 MLP 编码器，比较基线方法如 ETD、tICA 以及无正则化自编码器。

实验结果

研究问题

• RQ1 具有潜在空间正则化的自编码器是否能够从单变量或低维时间序列重构未见过的更高维动态坐标？
• RQ2 false-nearest-neighbor 正则化是否能够产生具有合适本征维数且比基线方法具有更好吸引子相似性的嵌入？
• RQ3 该方法对噪声和非平稳性的鲁棒性如何，是否能够预测长期动力学？
• RQ4 嵌入是否在多种现实数据集（ECG、间歇泉喷发、用电量、神经元尖峰）中揭示出一致的吸引子？

主要发现

• false-nearest-neighbor 正则化在各数据集上相较基线方法稳定地提升了吸引子相似性。
• 嵌入维数准确性（S_dim）在正则化下改善，并在不同情形下保持鲁棒性，d_E ≈ d。
• 正则化模型在噪声下的预测准确性衰减更慢，预测时域更长。
• 未知数据集的嵌入揭示了可解释的吸引子结构，如 ECG 的嵌套环和 geyser 数据的准周期 torus。
• 该方法对低维和高维混沌系统都仍然有效，并支持对现实世界时间序列的探索性分析。