[論文レビュー] EM-like Learning Chaotic Dynamics from Noisy and Partial Observations

Duong Nguyen, Said Ouala+2 more|arXiv (Cornell University)|Mar 25, 2019

Neural Networks and Applications参考文献 31被引用数 24

ひとこと要約

この論文は、ノイズが強く、部分的かつ不規則に観測されたデータからカオス的力学系を推定するためのEMに類似した学習フレームワークを提案する。隠れ状態とモデルパラメータの同時推定をベイズ的問題として扱うことで、Lorenz-63系を用いた実験で、標準的な機械学習手法に比べて真の力学系およびリャプノフ指数の回復性能が優れている。

ABSTRACT

The identification of the governing equations of chaotic dynamical systems from data has recently emerged as a hot topic. While the seminal work by Brunton et al. reported proof-of-concepts for idealized observation setting for fully-observed systems, {\em i.e.} large signal-to-noise ratios and high-frequency sampling of all system variables, we here address the learning of data-driven representations of chaotic dynamics for partially-observed systems, including significant noise patterns and possibly lower and irregular sampling setting. Instead of considering training losses based on short-term prediction error like state-of-the-art learning-based schemes, we adopt a Bayesian formulation and state this issue as a data assimilation problem with unknown model parameters. To solve for the joint inference of the hidden dynamics and of model parameters, we combine neural-network representations and state-of-the-art assimilation schemes. Using iterative Expectation-Maximization (EM)-like procedures, the key feature of the proposed inference schemes is the derivation of the posterior of the hidden dynamics. Using a neural-network-based Ordinary Differential Equation (ODE) representation of these dynamics, we investigate two strategies: their combination to Ensemble Kalman Smoothers and Long Short-Term Memory (LSTM)-based variational approximations of the posterior. Through numerical experiments on the Lorenz-63 system with different noise and time sampling settings, we demonstrate the ability of the proposed schemes to recover and reproduce the hidden chaotic dynamics, including their Lyapunov characteristic exponents, when classic machine learning approaches fail.

研究の動機と目的

• ノイズが強く、部分的かつ不規則にサンプリングされた観測からカオス的力学系を学ぶ課題に対処すること。
• 隠れ状態と未知の力学的モデルパラメータを同時に推定するベイズ推論フレームワークを開発すること。
• 深層学習における短期予測誤差最小化の限界を克服するため、状態空間モデルとデータ同化を組み合わせること。
• 現実的な観測制約下でも、リャプノフ指数のようなカオス的系の特性を正確に回復できることを可能にすること。
• 現代の深層学習（ニューラルODE）と古典的なデータ同化（アンサンブルカルマンスムージング、変分推論）を統合し、より高いロバストネスを実現すること。

提案手法

• 未知の力学をニューラルODEで記述するベイズ的状態空間モデルとして問題を定式化し、マスキング作用素を用いて観測ノイズと部分的サンプリングを扱う。
• 隠れ状態の事後分布とモデルパラメータの最適化を交互に繰り返すEMに類似した反復的手法を採用する。
• 未知の力学関数Fをニューラルネットワークでパラメータ化し、ODE: dx/dt = F(x) + η で記述する。
• 2つの推論スキームを適用する：(1) ニューラルODEを組み合わせたアンサンブルカルマンスムージング（EnKS）、(2) LSTMベースの変分推論（VODEN）による事後分布の近似。
• 部分的かつノイズの強い観測に対して、状態空間スムージングを用いて隠れ状態の完全な事後分布を推定する。
• 反復的最適化に依存し、Eステップでは隠れ状態の事後分布を計算し、Mステップでは勾配降下法でニューラルODEパラメータを更新する。

実験結果

リサーチクエスチョン

• RQ1 観測がノイズが多く不完全な状況下でも、ベイズ的EMに類似したフレームワークがカオス的力学系を効果的に学習できるか？
• RQ2 部分的かつノイズの強い観測下で、短時間予測誤差を最小化する標準的な深層学習手法と比較して、本手法はどのように性能を発揮するか？
• RQ3 限られた腐敗したデータから、リャプノフ指数のような主要な力学的特性をどの程度正確に回復できるか？
• RQ4 ニューラルODEとデータ同化スキームを組み合わせることで、不規則なサンプリングや高ノイズレベルに対するロバストネスが向上するか？
• RQ5 LSTMを用いた変分推論（VODEN）やEnKSベースのスムージングは、直接的な予測誤差最小化に比べてより正確な事後分布推定を可能にするか？

主な発見

• 提案されたEnKS-EMおよびVODENスキームは、高ノイズ（σ² = 32）および部分的観測条件下でも、Lorenz-63系の真のカオス的アトラクタを成功裏に回復した。
• すべてのテストされたノイズおよびサンプリング条件下で、最大リャプノフ指数（λ₁ ≈ 0.89）を5%以内の誤差で正確に再構築した。
• 部分的観測シナリオ1では、EnKS-EM_S1がt₀ + hで状態誤差0.075、t₀ + 4hで0.115を達成し、ベースライン手法を上回った。
• 不規則なサンプリングを伴うシナリオ2では、VODEN_S2がt₀ + hで状態誤差0.115、t₀ + 4hで0.317を達成し、不規則性に対するロバストネスを示した。
• 標準的な機械学習手法がノイズや不完全なデータによる過学習により失敗する状況でも、本手法は正しい力学的挙動およびリャプノフ指数を回復した。
• 一部の状態成分が観測されない状況下でも、隠れ動的挙動を正確に推定できることから、不完全なセンサデータからの学習への応用可能性が示された。