[論文レビュー] Deep reconstruction of strange attractors from time series

William Gilpin|arXiv (Cornell University)|Feb 14, 2020

Neural dynamics and brain function参考文献 77被引用数 35

ひとこと要約

この論文は、false-nearest-neighbor latent-space regularizer を用いたニューラル自動符号化器ベースの手法により、低次元の時系列から高次元のアトラクターを再構成し、既知および未知のシステム間で一貫したダイナミクスと予測を可能にします。

ABSTRACT

Experimental measurements of physical systems often have a limited number of independent channels, causing essential dynamical variables to remain unobserved. However, many popular methods for unsupervised inference of latent dynamics from experimental data implicitly assume that the measurements have higher intrinsic dimensionality than the underlying system---making coordinate identification a dimensionality reduction problem. Here, we study the opposite limit, in which hidden governing coordinates must be inferred from only a low-dimensional time series of measurements. Inspired by classical analysis techniques for partial observations of chaotic attractors, we introduce a general embedding technique for univariate and multivariate time series, consisting of an autoencoder trained with a novel latent-space loss function. We show that our technique reconstructs the strange attractors of synthetic and real-world systems better than existing techniques, and that it creates consistent, predictive representations of even stochastic systems. We conclude by using our technique to discover dynamical attractors in diverse systems such as patient electrocardiograms, household electricity usage, neural spiking, and eruptions of the Old Faithful geyser---demonstrating diverse applications of our technique for exploratory data analysis.

研究の動機と目的

• 低次元の時系列から隠れた支配座標を推定することで、部分観測に対処する。
• 一変量および多変量系列の普遍的な埋め込み技術を開発し、アトラクターの構造を回復する。
• 埋め込み次元を真の系の次元に近づけるよう、スパース性を促す潜在空間正則化を導入する。
• ノイズに対する頑健性と様々な実世界データセットへの適用性を示す。
• 再構成されたアトラクターと元のダイナミクスを比較する指標を提供し、予測能力を示す。

提案手法

• 時系列から得られるハンケル行列上にスタック型オートエンコーダを訓練し、アトラクターの潜在座標を学習する。
• 新しい潜在空間損失である false-nearest-neighbor loss を用いて、真のアトラクター次元（d_E ≈ d）に近い次元を促進する埋め込みを実現する。
• 損失を潜在ユニットごとのバッチ平均の false-nearest-neighbors_fraction として表現し、潜在活動を重み付けして不必要な次元を抑制する。
• 再構成を Procrustes 分析を用いて元のアトラクターと揃え、複数の類似度指標（ユークリッド距離、DTW、クロス・マッピングによる予測、近傍精度、次元性の類似性、位相的および fractal 測度）で評価する。
• LSTM および MLP のエンコーダを用いた実験を、ETD、tICA、正則化なしオートエンコーダなどのベースラインと比較して実施する。

実験結果

リサーチクエスチョン

• RQ1 単一変量または低次元の時系列から unseen higher-dimensional dynamical coordinates を再構成する潜在空間正則化オートエンコーダは可能か。
• RQ2 false-nearest-neighbor 正則化は intrinsic dimensionality に適合した埋め込みを生み出し、ベースラインよりアトラクターの類似性を高めるか。
• RQ3 ノイズや非定常性に対する頑健性はどの程度か、長期的なダイナミクスを予測できるか。
• RQ4 埋め込みは多様な実世界データセット（ECG、geyser の噴出、電力消費、神経細胞の発火）において、一貫したアトラクター構造を示すか。

主な発見

• false-nearest-neighbor 正則化は、データセット間でベースラインよりアトラクターの類似性を一貫して改善する。
• 埋め込み次元の正確性（S_dim）は正則化により向上し、d_E ≈ d の形で regime 全体で頑健である。
• 正則化モデルは、ノイズ下での予測精度の急激な低下が遅く、非正則化モデルより長い予測 horizon を示す。
• 未知のデータセットの埋め込みは解釈可能なアトラクター構造を示し、ECG の入れ子状ループや geyser データの準周期トーラスなどを含む。
• 本手法は低次元・高次元の混沌系の両方に対して有効であり、実世界の時系列データの探索的解析を可能にする。