[論文レビュー] Forecasting Sequential Data using Consistent Koopman Autoencoders

Omri Azencot, N. Benjamin Erichson+2 more|arXiv (Cornell University)|Mar 4, 2020

Model Reduction and Neural Networks参考文献 44被引用数 31

ひとこと要約

この論文は潜在空間で前方・後方の Koopman ダイナミクスを学習する Consistent Koopman Autoencoder (PCL) を提案し、ノイズ下でも高次元時系列を精度と安定性を向上させて予測します。

ABSTRACT

Recurrent neural networks are widely used on time series data, yet such models often ignore the underlying physical structures in such sequences. A new class of physics-based methods related to Koopman theory has been introduced, offering an alternative for processing nonlinear dynamical systems. In this work, we propose a novel Consistent Koopman Autoencoder model which, unlike the majority of existing work, leverages the forward and backward dynamics. Key to our approach is a new analysis which explores the interplay between consistent dynamics and their associated Koopman operators. Our network is directly related to the derived analysis, and its computational requirements are comparable to other baselines. We evaluate our method on a wide range of high-dimensional and short-term dependent problems, and it achieves accurate estimates for significant prediction horizons, while also being robust to noise.

研究の動機と目的

• 物理情報を組み込んだ構造によって時系列予測を動機づけ、純粋にデータ駆動のRNNだけに頼らない。
• 潜在空間で前方/後方ダイナミクスを強制する Consistent Koopman Autoencoder (PCL) を導入する。
• 潜在ダイナミクスの一貫性と Koopman 演算子を結ぶ理論的・経験的枠組みを提供する。
• 高次元でノイズがあり、短期的に依存するデータセットに対して効率性と頑健性を示す。

提案手法

• 観測を自動エンコーダ（エンコーダ chi_e とデコーダ chi_d）を用いて低次元潜在空間にエンコードする。
• 潜在空間で線形 Koopman 演算子 C と D を用いて前方・後方ダイナミクスを偏りなしでモデリングする。
• 再構成、前方予測、後方予測、前方-後方の一貫性ペナルティを組み合わせた損失で学習する。
• 逆関係を近似するよう C と D を結ぶ Koopman ベースのペナルティ E_con を用いて一貫性を課す。
• C と D のべき乗を伝搬させ、Chi を用いて観測空間へ写像することで多ステップ予測を可能にする。
• 前方/後方ダイナミクスの連続的一貫性と離散的一貫性の理論条件を示し、それを C, D に関連付ける（式12、式15および命題1–2）。

(b) Noisy observations

実験結果

リサーチクエスチョン

• RQ1 時系列予測のために前方・後方 Koopman ダイナミクスを単一のアーキテクチャでどう学習できるか。
• RQ2 前方と後方マップ間で安定で逆行可能風の挙動を保証するどんな正則化/一貫性制約があるか。
• RQ3 既存の Koopman ベースのネットよりも、物理制約付き学習（PCL）フレームワークは高次元データセットで予測精度と頑健性を向上させるか。
• RQ4 連続的一貫性条件と離散的一貉性条件は、実践的な訓練ペナルティへどう翻訳されるか。
• RQ5 後方ダイナミクスを含めることが予測品質とノイズ下での安定性に与える影響は何か。

主な発見

モデル	θ	ノイズ	最小	最大	平均	パラメータ数
DAE	0.8	-	0.016	0.254	0.102	0.03M
Ours	0.8	-	0.011	0.080	0.034	0.03M
DAE	0.8	true	0.062	0.563	0.232	0.03M
Ours	0.8	true	0.045	0.362	0.131	0.03M
DAE	2.4	-	0.042	0.211	0.112	0.03M
Ours	2.4	-	0.027	0.171	0.074	0.03M
DAE	2.4	true	0.191	0.521	0.316	0.03M
Ours	2.4	true	0.063	0.592	0.187	0.03M

• Consistent Koopman Autoencoder (PCL) は高次元でノイズのある時系列に対して長期的な予測を正確に達成する。
• 前方 (C) と後方 (D) の Koopman 演算子の結合は、前方のみのベースラインと比べて安定性と予測を向上させる。
• 後方ダイナミクスと一貫性制約を含めると、ノイズ下や異なる力学系でより頑健な予測になる。
• 安定性は固有値正則化により向上し、学習した演算子のスペクトルをより単位円に近づける。
• pendulum、cylinder flow、curved-domain vortex flow、climate data に関する経験的結果は、Dynamic AE (DAE) ベースラインおよび RNNs/FFNs と比較して高い性能を示す。

Figure 8 : Starting from the same initial conditions, we use our model and DAE to forecast the sea surface temperature for the $120$ th day (top row) and $175$ th day (bottom row). The results can be visually compared to the ground truth data (right column). Our model generally attains predictions t