[論文レビュー] Ensemble Kalman Inversion for Sparse Learning of Dynamical Systems from Time-Averaged Data

Tapio Schneider, Andrew M. Stuart+1 more|arXiv (Cornell University)|Jul 13, 2020

Model Reduction and Neural Networks被引用数 9

ひとこと要約

本稿では、時間平均統計（モーメントや自己相関など）から、直接的な時系列データや微分係数を用いずに、力学系の支配的ベクトル場を発見するためのスパース学習フレームワークを提案する。非線形逆問題として定式化し、EKIの2次計画法フレームワークを用いてスパarsityを強制することで、ノイズが強く不完全な間接的データから、確率的・常微分方程式・偏微分方程式の各分野において、高い精度と頑健性で真の力学的モデルを回復する手法を実現した。

ABSTRACT

Enforcing sparse structure within learning has led to significant advances in the field of data-driven discovery of dynamical systems. However, such methods require access not only to time-series of the state of the dynamical system, but also to the time derivative. In many applications, the data are available only in the form of time-averages such as moments and autocorrelation functions. We propose a sparse learning methodology to discover the vector fields defining a (possibly stochastic or partial) differential equation, using only time-averaged statistics. Such a formulation of sparse learning naturally leads to a nonlinear inverse problem to which we apply the methodology of ensemble Kalman inversion (EKI). EKI is chosen because it may be formulated in terms of the iterative solution of quadratic optimization problems; sparsity is then easily imposed. We then apply the EKI-based sparse learning methodology to various examples governed by stochastic differential equations (a noisy Lorenz 63 system), ordinary differential equations (Lorenz 96 system and coalescence equations), and a partial differential equation (the Kuramoto-Sivashinsky equation). The results demonstrate that time-averaged statistics can be used for data-driven discovery of differential equations using sparse EKI. The proposed sparse learning methodology extends the scope of data-driven discovery of differential equations to previously challenging applications and data-acquisition scenarios.

研究の動機と目的

• 時間平均統計（例：モーメント、自己相関）のみが利用可能な状況において、力学系の支配方程式を学習する課題に対処すること。
• 時間微分係数データを必要とする従来のスパース学習手法の限界を克服し、しばしばノイズが多くまたは入手困難な微分係数データに依存しないこと。
• 非線形逆問題の解においてスパarsityを強制する、頑健で微分を必要としないパrameter同定手法を開発すること。
• 間接的・非線形的・部分的な観測が可能な状況にまで、微分方程式のデータ駆動的発見の適用範囲を拡張すること。
• 現実のデータ制約下で真の力学的モデルを回復するのに、スパース EKI が有効であることを実証すること。

提案手法

• 時間平均統計を間接的観測として用い、ベクトル場の発見を非線形逆問題として定式化する。
• アンサンブルカルマンインバージョン（EKI）を用いて、データ不一致をアンサンブルベースで最小化することで逆問題を繰り返し解く。
• ℓ₁正則化を EKI フレームワークに組み込み、スパarsity を実現し、線形不等式制約を伴う二次計画問題の系列に変換する。
• 2段階のプロセスを用いる：まずスパース EKI で有効な基底関数を特定し、次にその縮小された基底に対して精密な EKI を適用して精度を向上させる。
• 数値微分を回避するため、モデル予測の時間平均統計を実測データと直接一致させる。
• 本手法は一般性に富み、ランジュール63、ランジュール96、凝集、およびクーラン=シバシニス方程式を用いて、確率的・常微分方程式・偏微分方程式に適用可能であることが示された。

実験結果

リサーチクエスチョン

• RQ1 時間平均データのみが利用可能な状況において、完全な時系列データや微分係数が得られない状況でも、スパース学習を力学系の発見に効果的に適用できるか？
• RQ2 パラメータから観測への写像が非線形である非線形逆問題フレームワーク（例：EKI）において、スパarsity を自然に強制する方法は何か？
• RQ3 間接的・ノイズの多い・部分的な観測から真の支配方程式を回復する際、EKI を用いたスパース学習は、標準的な EKI や従来のスパース手法を上回る性能を示せるか？
• RQ4 データがモーメントと相関関数に限定されている場合、元のベクトル場の正しいスパース構造をどの程度回復できるか？
• RQ5 初期のスパース同定に続く、基底固有の最適化を実施する2段階のリファインメントプロセスは、パrameter回復精度の向上に必要かつ有効であるか？

主な発見

• スパース EKI 法は、偏微分方程式であるクーラン=シバシニス方程式の真の支配方程式を、2回目のリファインメント段階で3つの非ゼロ係数を2.5%未満の誤差で正しく回復した。
• 本手法は、すべての不要な基底関数を正しくゼロに設定し、正確なスパース回復を達成したが、標準的な EKI は10個すべての係数が活性化された非スパースなフィットを示した。
• 2段階目のスパース EKI は、モーメント、自己相関、空間相関の3種類の時間平均統計すべてにおいて、実測データと優れた一致を示した。
• 本手法は、ノイズの存在下でも、時間微分係数データを必要としない状況においても、間接的観測からのモデル回復において頑健で正確であることが示された。
• 本手法は、ランジュール63（確率的）、ランジュール96（ODE）、クーラン=シバシニス方程式（PDE）といった多様な系に有効であり、広範な適用可能性を示した。
• 結果から、時間平均統計のみで、正確でスパースな力学系の発見が可能であることが確認され、データ駆動的モデリングの適用範囲が著しく拡張された。