[論文レビュー] Imposing Sparsity Within Ensemble Kalman Inversion

Tapio Schneider, Andrew M. Stuart+1 more|arXiv (Cornell University)|Jul 13, 2020

Meteorological Phenomena and Simulations参考文献 3被引用数 12

ひとこと要約

本稿では、時間平均統計を用いて微分方程式のベクトル場を同定するためのスパース学習手法を提案する。時間微分の必要性を回避することで、ノイズが多いまたは確率的な系においても、時間微分が得られない場合に有効である。非線形逆問題として定式化し、反復的二次最適化により解けるようにすることで、ノイズや微分不能なデータに対しても頑健にODE、SDE、PDEのデータ駆動的同定が可能となる。Lorenz 63、Lorenz 96、凝集、Kuramoto-Sivashinsky方程式の各例で成功を収めた。

ABSTRACT

Enforcing sparse structure within learning has led to significant advances in the field of pure data-driven discovery of dynamical systems. However, such methods require access not only to time-series of the state of the dynamical system, but also the time derivative. This poses problems when dealing with data polluted by noise, or when learning stochastic systems with non-differentiable solutions. To overcome such limitations we propose a sparse learning methodology to discover the vector fields defining a (possibly stochastic or partial) differential equation, using time-averaged statistics derived from time-series data. Such a formulation of sparse learning naturally leads to a nonlinear inverse problem to which we apply the methodology of ensemble Kalman inversion (EKI). EKI is chosen because it may be formulated in terms of the iterative solution of quadratic optimization problems; sparsity is then easily imposed. We then apply the EKI-based sparse learning methodology to various examples governed by stochastic differential equations (a noisy Lorenz 63 system), ordinary differential equations (Lorenz 96 system and coalescence equations), and a partial differential equation (the Kuramoto-Sivashinsky equation). The results demonstrate that data-driven discovery of differential equations can be achieved using sparse EKI with time-averaged statistics. The proposed sparse learning methodology extends the scope of pure data-driven discovery of differential equations to previously challenging applications and data-acquisition scenarios. Furthermore, although we apply the method in the context of learning dynamical systems, the EKI-based sparse methodology may be more widely applied within nonlinear inverse problems generally.

研究の動機と目的

• 既存のスパース学習手法が時間微分を必要としているという制限に対処すること。これは、ノイズが多いまたは確率的な系では時間微分が得られにくく、信頼性が低いことが多い。
• 時間系列データから得られる時間平均統計のみを用いて、ODE、SDE、PDEに従う動的系のデータ駆動的同定を可能にすること。
• 非線形系に適した、スパース制約を組み込んだアンサンブルカルマンインバージョン（EKI）フレームワークに基づく頑健な逆問題フレームワークの構築。
• ノイズが多い、または微分不能な系のような、困難なデータ取得状況への、純粋にデータ駆動的同定の適用範囲を拡張すること。

提案手法

• 時間微分の代わりに時間平均統計を用いることで、ベクトル場の同定を非線形逆問題として定式化する。
• 時間平均統計を用いて、二次最適化目的関数を最小化する反復的アルゴリズムとして、アンサンブルカルマンインバージョン（EKI）を適用する。
• EKIフレームワーク内でのTikhonov正則化またはℓ1ノルムペナルティを用いて、同定されたベクトル場係数にスパース性を課す。
• 高次元パrameter空間におけるスケーラブルで微分フリーの最適化を可能とするために、ヘッシアンと勾配のアンサンブルベースの近似を用いる。
• 時間系列データから時間平均統計を構築し、ノイズや微分不能な解に対しても頑健な動的挙動の表現を可能にする。
• スパース制約をEKI更新式に直接統合することで、基礎となる微分方程式の簡潔なモデルを促進する。

実験結果

リサーチクエスチョン

• RQ1 ノイズや微分不能性のため時間微分が得られない状況下でも、スパース学習が微分方程式の同定に効果的に適用可能かどうか。
• RQ2 EKFベースのスパース学習は、確率的・決定的動的系において、時間平均統計からベクトル場をどれほど正確に同定できるか。
• RQ3 提案手法が、ODE、SDE、PDEを含むさまざまな種類の微分方程式にどれほど一般化可能か。
• RQ4 EKIフレームワーク内にスパース性を効果的に組み込むことで、複雑な動的挙動の解釈可能で正確なモデルが得られるか。

主な発見

• ノイズの強いLorenz 63系に対しても、時間微分を一切使用せず、時間平均統計のみを用いても、正確な再構成が達成された。
• Lorenz 96系および凝集方程式において、EKIベースのスパース学習手法は、時間平均データを用いて正確な動的構造を高い忠実度で回復した。
• Kuramoto-Sivashinsky PDEの支配的動的挙動は、時間平均統計からの同定に成功し、偏微分方程式への適用可能性が示された。
• EKI内にスパース制約を統合することで、モデルの解釈可能性が向上し、特に高ノイズ環境下での過剰適合が軽減された。
• 汚損済みまたは微分不能な時間系列データの状況では、従来の微分に基づくスパース学習を上回る性能を示した。
• このフレームワークは動的系に限らず、スパース制約を伴う他の非線形逆問題に対しても汎用的であり、実用的な手法を提供する。