[论文解读] Discrepancy Modeling Framework: Learning missing physics, modeling systematic residuals, and disambiguating between deterministic and random effects

Megan R. Ebers, Katherine M. Steele+1 more|arXiv (Cornell University)|Mar 10, 2022

Fault Detection and Control Systems被引用 11

一句话总结

本文提出了一种差异建模框架，利用数据驱动方法学习动力系统中缺失的物理规律和系统性残差，区分确定性误差与随机误差。结果表明，当真实动力学未知时，在动力学空间中建模差异是最优的；而当动力学已知时，状态空间残差建模更优。该研究采用SINDy、DMD、GPR和神经网络等方法，其性能因噪声水平和数据质量而异。

ABSTRACT

Physics-based and first-principles models pervade the engineering and physical sciences, allowing for the ability to model the dynamics of complex systems with a prescribed accuracy. The approximations used in deriving governing equations often result in discrepancies between the model and sensor-based measurements of the system, revealing the approximate nature of the equations and/or the signal-to-noise ratio of the sensor itself. In modern dynamical systems, such discrepancies between model and measurement can lead to poor quantification, often undermining the ability to produce accurate and precise control algorithms. We introduce a discrepancy modeling framework to identify the missing physics and resolve the model-measurement mismatch with two distinct approaches: (i) by learning a model for the evolution of systematic state-space residual, and (ii) by discovering a model for the deterministic dynamical error. Regardless of approach, a common suite of data-driven model discovery methods can be used. The choice of method depends on one's intent (e.g., mechanistic interpretability) for discrepancy modeling, sensor measurement characteristics (e.g., quantity, quality, resolution), and constraints imposed by practical applications (e.g., modeling approaches using the suite of data-driven modeling methods on three continuous dynamical systems under varying signal-to-noise ratios. Finally, we emphasize structural shortcomings of each discrepancy modeling approach depending on error type. In summary, if the true dynamics are unknown (i.e., an imperfect model), one should learn a discrepancy model of the missing physics in the dynamical space. Yet, if the true dynamics are known yet model-measurement mismatch still exists, one should learn a discrepancy model in the state space.

研究动机与目标

• 解决因缺失物理规律和传感器噪声导致的物理基动力系统中模型与测量之间的不匹配问题。
• 在系统建模中区分确定性差异与随机测量误差。
• 开发一种系统性、数据驱动的框架，以学习缺失的物理规律和系统性残差，从而提高模型精度。
• 评估多种数据驱动方法——SINDy、DMD、GPR和神经网络——在不同信噪比条件下的差异建模适用性。
• 根据数据质量、模型目标和系统特性，提供选择最优差异建模方法的指导。

提出的方法

• 提出两种不同的差异建模方法：当真实动力学未知时学习动力学误差，当动力学已知时建模状态空间残差。
• 应用四种数据驱动的模型发现技术：稀疏非线性动力学识别（SINDy）、动态模态分解（DMD）、高斯过程回归（GPR）和神经网络（NN）。
• 利用这些方法学习差异模型，以校正连续动力系统中模型与测量之间的不匹配。
• 在三种基准系统（Van der Pol振子、Lorenz系统及另一未指定系统）上，评估方法在不同信噪比下的性能表现。
• 利用SINDy实现稀疏、可解释的差异动力学发现；在低信噪比条件下，利用DMD实现快速、基于线性的建模。
• 采用GPR实现非参数化、贝叶斯建模，在低至中等数据量下计算成本低于神经网络，尤其在存在噪声时更具优势。

实验结果

研究问题

• RQ1 数据驱动的差异建模如何区分模型-测量不匹配中的确定性与随机分量？
• RQ2 在不同噪声条件下，哪种数据驱动方法——SINDy、DMD、GPR或神经网络——在学习动力系统中缺失物理规律方面最有效？
• RQ3 在何种条件下，在动力学空间中建模差异优于状态空间残差建模？
• RQ4 数据分辨率和质量如何影响差异模型学习的准确性，特别是对SINDy和DMD的影响？
• RQ5 根据误差类型（如非线性、混沌、噪声）的不同，每种差异建模方法的结构性局限性是什么？

主要发现

• SINDy能够以极低计算成本实现稀疏、可解释的差异动力学发现，且对非线性强弱具有鲁棒性。
• 当信噪比较低时，DMD能快速实现可解释的差异建模，但对差异动力学中的非线性较为敏感。
• 在低至中等噪声环境下，GPR的性能与神经网络相当或更优，且计算成本更低，同时具有闭式解。
• 神经网络在捕捉复杂、非局部动力学方面表现出色，泛化能力强，尤其在高分辨率数据（如Δt = 0.001）下，可实现近乎完美的短期预测。
• 更高的数据分辨率显著提升动力学差异模型的准确性，尤其对SINDy而言，其对数据质量和分辨率极为敏感。
• 统计技术如自助采样和集成方法可增强SINDy和DMD在低分辨率数据下的鲁棒性，在无需重新训练模型的情况下提升泛化能力。