[論文レビュー] Bayesian autoencoders for data-driven discovery of coordinates, governing equations and fundamental constants

Liyao Gao, J. Nathan Kutz|arXiv (Cornell University)|Nov 19, 2022

Gaussian Processes and Bayesian Inference被引用数 4

ひとこと要約

本稿では、スパース同定に階層的スパイクアンドスラブガウス・ラプラス事前分布を用いることで、低データ量・高ノイズな時空間的データから潜在座標と支配方程式を同時に同定するベイジアンSINDyオートエンコーダーを提案する。この手法により、確率的勾配ランジュヴィンダイナミクス（SGLD）を用いた計算的に実行可能なベイジアン事後分布サンプリングが可能となり、不確実性評価を伴った正確な物理法則の同定が達成された。実際の動画データ14秒分から単純振り子の運動方程式を成功裏に回復し、重力定数$g$の推定も行った。

ABSTRACT

Recent progress in autoencoder-based sparse identification of nonlinear dynamics (SINDy) under $\ell_1$ constraints allows joint discoveries of governing equations and latent coordinate systems from spatio-temporal data, including simulated video frames. However, it is challenging for $\ell_1$-based sparse inference to perform correct identification for real data due to the noisy measurements and often limited sample sizes. To address the data-driven discovery of physics in the low-data and high-noise regimes, we propose Bayesian SINDy autoencoders, which incorporate a hierarchical Bayesian sparsifying prior: Spike-and-slab Gaussian Lasso. Bayesian SINDy autoencoder enables the joint discovery of governing equations and coordinate systems with a theoretically guaranteed uncertainty estimate. To resolve the challenging computational tractability of the Bayesian hierarchical setting, we adapt an adaptive empirical Bayesian method with Stochatic gradient Langevin dynamics (SGLD) which gives a computationally tractable way of Bayesian posterior sampling within our framework. Bayesian SINDy autoencoder achieves better physics discovery with lower data and fewer training epochs, along with valid uncertainty quantification suggested by the experimental studies. The Bayesian SINDy autoencoder can be applied to real video data, with accurate physics discovery which correctly identifies the governing equation and provides a close estimate for standard physics constants like gravity $g$, for example, in videos of a pendulum.

研究の動機と目的

• 従来のスパース回帰が不安定さや一般化性能の低さにより失敗する低データ量・高ノイズな環境下における物理法則同定の課題に対処すること。
• オートエンコーダーとベイジアンスパース推論を統合し、力学系における潜在座標と支配方程式の同時同定を実現すること。
• 信頼性の高いデータ駆動意思決定に不可欠な、同定されたモデルに対する理論的裏付けのある不確実性評価を提供すること。
• 大規模または高次元の設定における階層的ベイジアンモデルの計算的非実行可能性を、適応的経験ベイズとSGLDサンプリングによって克服すること。
• 時間微分がノイズが多く、サンプル数が限られる実世界の動画データ（例：振り子の運動）からも、頑健な同定を可能にすること。

提案手法

• フレームワークは、深層オートエンコーダーとベイジアンSINDyモジュールを組み合わせており、SINDy層では、支配方程式の係数にスパース性を強制するため、スパイクアンドスラブガウス・ラプラス（SSGL）事前分布を適用する。
• SSGL事前分布により、各係数をゼロでのディルト（スパイク）とラプラス分布（スラブ）の混合分布としてモデル化することで、変数選択と不確実性推定を同時に実現する。
• 完全なMCMCサンプリングを回避するため、事後分布の近似に適応的経験ベイズ手法を用いる。
• スパースな事後分布サンプリングを効率的に行うために、確率的勾配ランジュヴィンダイナミクス（SGLD）を採用し、実動画データへのスケーラブルなトレーニングを可能にする。
• オートエンコーダーの再構成損失、SINDyの予測損失、ベイジアン証拠を同時に最適化し、不確実性を事後分布サンプルにわたって伝搬する。
• 微分可能SGLDに基づく事後分布近似を用いて、勾配ベース最適化を維持しながら不確実性推定を保持する、エンドツーエンドの訓練アーキテクチャを実装する。

実験結果

リサーチクエスチョン

• RQ1 低データ量・高ノイズな条件下で、ベイジアンSINDyオートエンコーダーは、標準的なSINDyオートエンコーダーに比べ、支配方程式と潜在座標の同定性能を向上させることができるか？
• RQ2 真の力学が誤って指定されている場合やデータがノイズが多い場合に、ベイジアンフレームワークは同定されたモデルの不確実性を適切に評価できるか？
• RQ3 階層的スパイクアンドスラブ事前分布を用いることで、実動画データにおいて、標準的なL1ベースのスパース性と比較して、モデル選択の正確性とロバスト性が向上するか？
• RQ4 最小限の実世界の動画映像から、重力定数$g$のような基本的物理定数を成功裏に回復できるか？
• RQ5 ベイジアンフレームワークによる不確実性評価は、同定されたモデルの信頼性と解釈可能性をどの程度向上させるか？

主な発見

• ベイジアンSINDyオートエンコーダーは、実動画データ14秒分を用いて振り子の支配方程式$\ddot{z} = -g\sin(z)$を成功裏に同定し、再構築された$g$の値が真の物理定数に近い値を示した。
• デコーダー損失は0.779、$\ddot{x}$の再構成損失は0.364、$\ddot{z}$の再構成損失は0.416であり、再構成における未説明分散の割合は0.012であった。
• SINDy予測における未説明分散の割合は、$\ddot{x}$で0.210、$\ddot{z}$で0.941であった。ノイズの影響を受けても潜在的力学の強力な性能を示している。
• ベイジアンフレームワークは、ラプラス事前分布が正しい項$\sin(z)$を同定できなかった場合でも、妥当な不確実性推定を提供した。これは、事後分布サンプルの可視化から明らかになった。
• スパイクアンドスラブ事前分布は、ラプラス事前分布よりもモデル同定の正確性と視覚的再構成品質の両面で優れており、後者は誤った項$z$を同定したのに対し、正しくは$\sin(z)$である。
• トレーニングには1,500エポックしか必要とせず、10回の試行のうち70%が同定に成功し、残り30%はモデルの誤指定により有効な項を同定できなかった。