[論文レビュー] Discrepancy Modeling Framework: Learning missing physics, modeling systematic residuals, and disambiguating between deterministic and random effects

Megan R. Ebers, Katherine M. Steele+1 more|arXiv (Cornell University)|Mar 10, 2022

Fault Detection and Control Systems被引用数 11

ひとこと要約

本稿では、真の力学が未知の状況では力学空間における乖離をモデル化することが最適であり、力学が既知の状況では状態空間の残差モデル化が優れていることを示す、データ駆動型の乖離モデリングフレームワークを提案する。このフレームワークは、欠落した物理法則と系の系統的残差を、決定論的誤差と確率的誤差に区別して学習する。SINDy、DMD、GPR、ニューラルネットワークを用いた実験により、ノイズとデータ品質の変動に応じて性能が異なる複数のデータ駆動型手法を評価し、最適なアプローチの選定を支援する。

ABSTRACT

Physics-based and first-principles models pervade the engineering and physical sciences, allowing for the ability to model the dynamics of complex systems with a prescribed accuracy. The approximations used in deriving governing equations often result in discrepancies between the model and sensor-based measurements of the system, revealing the approximate nature of the equations and/or the signal-to-noise ratio of the sensor itself. In modern dynamical systems, such discrepancies between model and measurement can lead to poor quantification, often undermining the ability to produce accurate and precise control algorithms. We introduce a discrepancy modeling framework to identify the missing physics and resolve the model-measurement mismatch with two distinct approaches: (i) by learning a model for the evolution of systematic state-space residual, and (ii) by discovering a model for the deterministic dynamical error. Regardless of approach, a common suite of data-driven model discovery methods can be used. The choice of method depends on one's intent (e.g., mechanistic interpretability) for discrepancy modeling, sensor measurement characteristics (e.g., quantity, quality, resolution), and constraints imposed by practical applications (e.g., modeling approaches using the suite of data-driven modeling methods on three continuous dynamical systems under varying signal-to-noise ratios. Finally, we emphasize structural shortcomings of each discrepancy modeling approach depending on error type. In summary, if the true dynamics are unknown (i.e., an imperfect model), one should learn a discrepancy model of the missing physics in the dynamical space. Yet, if the true dynamics are known yet model-measurement mismatch still exists, one should learn a discrepancy model in the state space.

研究の動機と目的

• 欠落した物理法則とセンサーノイズによって引き起こされる物理ベースの力学的系におけるモデル-測定値の不一致を解消すること。
• システムモデリングにおける決定論的乖離と確率的測定誤差を明確に区別すること。
• 欠落した物理法則と系統的残差を学習する、原理的かつデータ駆動型のフレームワークを構築し、モデルの精度を向上させること。
• SINDy、DMD、GPR、ニューラルネットワークといった複数のデータ駆動型手法が、信号対ノイズ比の変動に応じてどのように乖離モデリングに適しているかを評価すること。
• データ品質、モデルの目的、システムの特性に基づいて、最適な乖離モデリング手法を選定するための指針を提供すること。

提案手法

• 真の力学が未知の状況では「力学的誤差の学習」、力学が既知の状況では「状態空間の残差モデル化」という2つの異なる乖離モデリングアプローチを提案する。
• 4つのデータ駆動型モデル発見手法を適用する：スparser identification of nonlinear dynamics (SINDy)、dynamic mode decomposition (DMD)、Gaussian process regression (GPR)、ニューラルネットワーク (NN)。
• これらの手法を用いて、連続的力学系におけるモデル-測定値の不一致を是正する乖離モデルを学習する。
• 信号対ノイズ比を変動させた3つのベンチマーク系（Van der Pol振動子、Lorenz系、および他の未指定の系）に対して、手法の性能を評価する。
• SINDyを用いてスパースで解釈可能な乖離力学を発見する；ノイズが多い状況ではDMDを用いて低コストで線形ベースの迅速なモデリングを実現する。
• GPRを用いて、低〜中程度のデータ量で、計算コストがNNより低く、ベイズ的手法による非パrametricモデリングを実現する。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型の乖離モデリングは、モデル-測定値の不一致における決定論的成分と確率的成分をどのように区別できるか？
• RQ2 ノイズ条件が変化する状況下で、SINDy、DMD、GPR、ニューラルネットワークのうち、どの手法が力学系における欠落した物理法則の学習に最も効果的か？
• RQ3 力学空間における乖離モデリングが状態空間の残差モデル化よりも好ましい状況はどのようなものか？
• RQ4 データ解像度と品質が、SINDyやDMDにおける乖離モデル学習の精度にどのように影響するか？
• RQ5 非線形性、カオス性、ノイズの有無といったエラーの種別に応じて、各乖離モデリング手法の構造的限界は何か？

主な発見

• SINDyは、スパースで解釈可能な乖離力学の発見が可能であり、非線形性の強さに強く、計算コストも最小限に抑えられる。
• DMDは、信号対ノイズ比が低い状況では迅速かつ解釈可能な乖離モデリングを提供するが、乖離力学の非線形性に対しては感受性が高い。
• GPRは、低〜中程度のノイズ環境下でニューラルネットワークと同等またはそれ以上の性能を発揮し、計算コストが低く、閉形式解が得られる。
• ニューラルネットワークは、複雑で非局所的な力学を捉えるのに優れており、特にデータ解像度が高い場合（例：Δt = 0.001）に良好な一般化性能を示し、短時間予測においてほぼ完璧な性能を達成できる。
• 高いデータ解像度は、特にデータ品質と解像度に敏感なSINDyにおいて、力学的乖離モデルの精度を顕著に向上させる。
• バギングやアンサンブルといった統計的手法により、SINDyとDMDのロバスト性が向上し、モデル再訓練を必要とせずに一般化性能が向上する。