[論文レビュー] Rapid Bayesian identification of sparse nonlinear dynamics from scarce and noisy data

Lloyd Fung, Urban Fasel+1 more|arXiv (Cornell University)|Feb 23, 2024

Spectroscopy and Chemometric Analyses被引用数 5

ひとこと要約

Bayesian-SINDyはSINDyを高速なGaussian近似ベイズフレームワークに再構築し、希少でノイズのあるデータからスパースな非線形ダイナミクスを同定し、不確実性を定量化します。

ABSTRACT

We propose a fast probabilistic framework for identifying differential equations governing the dynamics of observed data. We recast the SINDy method within a Bayesian framework and use Gaussian approximations for the prior and likelihood to speed up computation. The resulting method, Bayesian-SINDy, not only quantifies uncertainty in the parameters estimated but also is more robust when learning the correct model from limited and noisy data. Using both synthetic and real-life examples such as Lynx-Hare population dynamics, we demonstrate the effectiveness of the new framework in learning correct model equations and compare its computational and data efficiency with existing methods. Because Bayesian-SINDy can quickly assimilate data and is robust against noise, it is particularly suitable for biological data and real-time system identification in control. Its probabilistic framework also enables the calculation of information entropy, laying the foundation for an active learning strategy.

研究の動機と目的

• ノイズがあり希少なデータから支配方程式を堅牢に発見することを動機づける。
• 学習されたモデルの不確実性を定量化するために、SINDyと疎ベイズ学習を組み合わせる。
• スパース性と精度を促進しつつ、高価なサンプリング（例：MCMC）を回避する。
• 既存のSINDyベースの手法と比較してデータ効率と頑健性を評価する。
• エントロピーに基づく不確実性推定を用いたアクティブラーニングの基盤を整える。

提案手法

• 解析的扱いやすさを維持するため、SINDyをガウス尤度とガウス事前分布を伴うベイズ回帰問題として再構成する。
• 時間微分の学習を t = D w + ε とし、D = L_I Θ(X) および t = L_∂t X として、Θ(X) および時間微分を通じたノイズ伝播を考慮する。
• 対数尤度 J(t|D,β,α) を導出し、Dの列を剪定することで尤度を最大化する反復的・グリーディ法を用いて疎なモデル選択を行う。
• 正の証拠を持つ正しい項を維持し、誤りの項を抑制するように事前分布のハイパーパラメータαを設定する新しいアプローチを導入する。
• 誤差分散のw依存ノイズ項を介して、現在のwに基づいてノイズ精度βを反復的に更新する。
• 弱形式による微分推定と有限差分による微分推定を任意に比較し、ノイズ処理への影響について議論する。

実験結果

リサーチクエスチョン

• RQ1 伝統的なSINDyと同等の効率で、かつ不確実性定量化がより良い結果を得るように、疎性を促進するベイズ回帰は、希少でノイズのあるデータから正しい支配方程式を回復できるか。
• RQ2 ライブラリと導関数推定を通じたノイズ伝搬がモデル選択と頑健性にどのように影響するか。
• RQ3 高速でα-β最適化されたグリーディ證拠最大化戦略は、高価なサンプリングなしで正確なモデルをもたらすか。
• RQ4 ベイズフレームワーク内でノイズ下の導関数推定において、弱形式と有限差分はどのように比較されるか。
• RQ5 情報理論的測度（エントロピーなど）を用いたアクティブラーニングをこの枠組みで実現できるか。

主な発見

• Bayesian-SINDyは学習係数の不確実性を定量化し、ノイズとデータ不足下で非ベイズのSINDy系よりも堅牢なモデル発見をもたらす。
• 証拠ベースのモデル選択を伴うGaussian近似ベイズ回帰は、簡潔で正しいダイナミクス項を効率的に同定する。
• MCMCを回避し、証拠最大化によりスパース性を促進することで、サンプリングベースのベイズ法と比較して計算を高速化する。
• データからライブラリと導関数推定へのノイズ伝播を考慮することで、項の選択の信頼性が向上する。
• この枠組みはリアルタイムのシステム同定シナリオをサポートし、情報理論的測度を用いたアクティブラーニングの可能性を秘めている。