[論文レビュー] Learning Dynamical Systems from Partial Observations

Ibrahim Ayed, Emmanuel de Bézenac+3 more|arXiv (Cornell University)|Feb 26, 2019

Model Reduction and Neural Networks参考文献 38被引用数 54

ひとこと要約

本論文は、部分観測Yから時変微分方程式F_theta(X)を学習し、それを連続時間ODEに埋め込み、随伴法に基づくトレーニングで予測し hidden states を明らかにするデータ駆動フレームワークを提案する。流体・海洋シミュレーションを用いて実証。

ABSTRACT

We consider the problem of forecasting complex, nonlinear space-time processes when observations provide only partial information of on the system's state. We propose a natural data-driven framework, where the system's dynamics are modelled by an unknown time-varying differential equation, and the evolution term is estimated from the data, using a neural network. Any future state can then be computed by placing the associated differential equation in an ODE solver. We first evaluate our approach on shallow water and Euler simulations. We find that our method not only demonstrates high quality long-term forecasts, but also learns to produce hidden states closely resembling the true states of the system, without direct supervision on the latter. Additional experiments conducted on challenging, state of the art ocean simulations further validate our findings, while exhibiting notable improvements over classical baselines.

研究の動機と目的

• 部分観測から複雑な時空間過程を予測すること

提案手法

• dX_t/dt = F_theta(X_t) で X_t をモデル化し、観測 Y_t = H(X_t) とする
• 連続時間最適制御形式を用いてデータから F_theta と初期条件 g_theta を学習する
• 勾配を計算するために随伴状態法を用い、時系列を通じた backpropagation で theta を訓練する
• 前方・後方ダイナミクスを（Euler法で）離散化し、J = ∫ ||Y_t - H(X_t)||^2 dt に対して勾配降下法で訓練する
• 全状態が観測されない場合の部分的初期化を、エンコーダ g_theta または E_theta によって扱う
• Glorys2v4 を含むシミュレーションデータセットおよび現実的なデータセットで評価し、ベースラインと比較する

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは部分観測から基礎となる連続時間ダイナミクスを学習できるか？
• RQ2 モデルは直接監督なしで隠れ状態を推定しつつ、長期的な観測を予測できるか？
• RQ3 不規則または部分的な初期情報のもとで、現実的で高次元の設定において、方法はどのように性能を示すか？

主な発見

モデル	K=5	K=10
提案手法	0.124	0.231
提案手法（推定付き）	0.113	0.209
PKnI (de Bézenac et al., 2018)	0.145	0.250
ConvLSTM (Shi et al., 2015)	0.137	0.224

• 本手法は、部分観測設定下で浅水方程式およびEuler方程式の長期予測に高い品質を達成する。
• モデルが推定した隠れ状態は、直接的な監督なしで真の隠れダイナミクスに近い。
• Glorys2v4 では、提案手法が基準法を上回り、予測観測のホライズンK=5およびK=10で (0.124 vs 0.145; 0.231 vs 0.250) 。
• 推定 variante では、平均二乗誤差はさらに 0.113 (K=5) および 0.209 (K=10) に改善する。
• 隠れ状態評価は、提案手法が基準法よりコサイン類似度が高いことを示す（K=5で0.782、K=10で0.678、PKnI: 0.448, 0.371; ConvLSTM: 報告なし）。
• The approach outperforms ConvLSTM baselines across reported metrics on Glorys2v4.