[論文レビュー] RODE-Net: Learning Ordinary Differential Equations with Randomness from Data

Junyu Liu, Zichao Long+3 more|arXiv (Cornell University)|Jun 3, 2020

Model Reduction and Neural Networks参考文献 27被引用数 4

ひとこと要約

RODE-Net は、シンボリックニューラルネットワーク（SymNet）を用いたシステム同定と、生成対抗ネットワーク（GAN）を用いたデータ駆動型正則化を組み合わせることで、データから確率的微分方程式（ODE）の記号的形態とそのランダムパラメータの分布を同時に学習する深層学習フレームワークである。従来の ℓ₁ 正則化と比較して、ODE 構造の回復とパラメータ分布推定の両面で優れた精度を達成している。

ABSTRACT

Random ordinary differential equations (RODEs), i.e. ODEs with random parameters, are often used to model complex dynamics. Most existing methods to identify unknown governing RODEs from observed data often rely on strong prior knowledge. Extracting the governing equations from data with less prior knowledge remains a great challenge. In this paper, we propose a deep neural network, called RODE-Net, to tackle such challenge by fitting a symbolic expression of the differential equation and the distribution of parameters simultaneously. To train the RODE-Net, we first estimate the parameters of the unknown RODE using the symbolic networks \cite{long2019pde} by solving a set of deterministic inverse problems based on the measured data, and use a generative adversarial network (GAN) to estimate the true distribution of the RODE's parameters. Then, we use the trained GAN as a regularization to further improve the estimation of the ODE's parameters. The two steps are operated alternatively. Numerical results show that the proposed RODE-Net can well estimate the distribution of model parameters using simulated data and can make reliable predictions. It is worth noting that, GAN serves as a data driven regularization in RODE-Net and is more effective than the $\ell_1$ based regularization that is often used in system identifications.

研究の動機と目的

• 支配方程式の構造についての事前知識を最小限に抑えて、データからランダム微分方程式（RODE）を同定する課題に対処すること。
• ODE の記号的形態とそのランダムパラメータの確率分布を同時に推定すること。
• 高次元の逆問題において従来の正則化（例：ℓ₁）の限界を克服し、データ駆動型の GAN を用いた正則化を導入すること。
• 真の RODE が生成するデータの統計的挙動と一致する確率的軌道を信頼性高くシミュレートできること。

提案手法

• RODE-Net は、データから ODE 構造を回復するために、シンボリックシステム同定に SymNet を用いる。
• 別個の GAN を訓練し、観測されたデータスナップショットを用いて ODE のランダムパラメータの真の分布を推定する。
• ODE パラメータ推定の訓練中に、GAN がデータ駆動型正則化として機能し、一般化性能とロバストネスを向上させる。
• 訓練は、決定的逆問題による ODE パラメータ推定と、GAN を用いたパラメータ分布の最適化を交互に繰り返す。
• SymNet の高い表現力を利用することで、ODE 形式に関する事前仮定への依存度を最小限に抑える。
• GAN 正則化を適用することで、予測誤差を低減し、推定された ODE コefの精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 限られたデータから、深層学習フレームワークが ODE の記号的形態とそのランダムパラメータの分布を同時に学習できるか？
• RQ2 逆 ODE 問題において、GAN を用いた正則化は従来の ℓ₁ 正則化と比較して、精度とロバストネスの面で優れているか？
• RQ3 RODE-Net は、最小限の事前知識のもとで、真の ODE 構造とパラメータ分布をどの程度回復できるか？
• RQ4 正則化として GAN を用いることで、ODE パラメータ推定の一般化性能と予測精度が向上するか？

主な発見

• RODE-Net は GAN 正則化なしの ODE-Nets よりも顕著な予測誤差の低減を達成しており、個々の ODE ケースにおいて顕著な改善が見られた。
• 500 個の ODE ケースにわたる ODE コef推定誤差の平均と標準偏差は、RODE-Net でそれぞれ 2.122 と 3.372、GAN なしの ODE-Nets では 2.093 と 3.352 であり、一貫した改善が確認された。
• 係数比較表に示されるように、主な ODE 項（例：$x_1x_2$、$x_2$）の推定係数は、GAN 正則化を用いた場合、真の値に近づいていた。
• GAN を用いた正則化により、予測誤差のヒストグラムが真の分布とよりよく一致し、特に後期の時刻（t=40,50）で顕著であった。
• RODE-Net は、真の RODE が生成するデータと統計的に一致する軌道を効果的にシミュレートした。
• 高次元パラメータ空間において、ℓ₁ 正則化を上回る性能を示したため、GAN が複雑な逆問題に対してより効果的であると考えられる。