[论文解读] Living in the Physics and Machine Learning Interplay for Earth Observation

Gustau Camps‐Valls, Daniel Heestermans Svendsen+8 more|arXiv (Cornell University)|Oct 18, 2020

Scientific Computing and Data Management参考文献 44被引用 4

一句话总结

本文提出了一种混合框架，将基于物理的模型与机器学习相结合，以提升地球观测系统的稳定性、可信度和泛化能力。通过在数据驱动模型中引入物理定律（如质量与能量守恒）并采用约束学习，物理感知神经网络实现了更好的泛化性能、更低的过拟合风险以及更高的可解释性。实证结果表明，与标准方法相比，参数估计误差降低了1000倍。

ABSTRACT

Most problems in Earth sciences aim to do inferences about the system, where accurate predictions are just a tiny part of the whole problem. Inferences mean understanding variables relations, deriving models that are physically interpretable, that are simple parsimonious, and mathematically tractable. Machine learning models alone are excellent approximators, but very often do not respect the most elementary laws of physics, like mass or energy conservation, so consistency and confidence are compromised. In this paper, we describe the main challenges ahead in the field, and introduce several ways to live in the Physics and machine learning interplay: to encode differential equations from data, constrain data-driven models with physics-priors and dependence constraints, improve parameterizations, emulate physical models, and blend data-driven and process-based models. This is a collective long-term AI agenda towards developing and applying algorithms capable of discovering knowledge in the Earth system.

研究动机与目标

• 解决纯数据驱动的机器学习模型在地球科学中缺乏物理一致性的问题。
• 通过将基本物理定律（如能量与质量守恒）嵌入机器学习架构中，提升模型的可信度与泛化能力。
• 通过利用物理先验约束参数空间，减少过拟合与数据需求。
• 通过物理感知的贝叶斯推断，实现在复杂地球系统模型中的稳健参数估计与不确定性量化。
• 制定一种统一数据驱动与过程驱动建模的混合人工智能议程，推动地球观测中的科学发现。

提出的方法

• 使用物理信息神经网络（PINNs）将微分方程与守恒定律直接嵌入机器学习模型的损失函数中。
• 应用变分推断与吉布斯采样，并结合FUSS算法，高效地从复杂、高维的后验分布中采样，用于反演建模。
• 采用基于核的分布匹配与依赖性约束，确保数据驱动模型与物理模型之间的统计一致性。
• 利用模型模拟技术，以快速、可微分的代理模型替代计算成本高昂的物理模拟器。
• 在贝叶斯框架中通过先验约束引入领域知识，将搜索空间限制在物理上合理的解范围内。
• 结合变分方法，同时实现前向与反向建模，以联合推断潜在函数、驱动力与参数。

实验结果

研究问题

• RQ1 如何在保持地球观测中高预测精度的前提下，使机器学习模型具备物理一致性？
• RQ2 有哪些有效方法可将守恒定律与微分方程嵌入数据驱动模型中？
• RQ3 物理感知的机器学习是否能通过更少的训练数据减少过拟合并提升泛化能力？
• RQ4 在地球系统建模中产生的高维、复杂后验分布中，如何高效地执行贝叶斯推断？
• RQ5 混合模型在物理系统中的不确定性量化与参数估计方面，能在多大程度上实现性能提升？

主要发现

• 通过将参数空间约束在物理上合理的区域，物理感知的机器学习模型显著提升了泛化能力并减少了过拟合。
• 与标准的吉布斯采样中的梅特罗波利斯-黑斯廷斯（MH）方法相比，FUSS算法嵌入吉布斯采样可使参数估计的均方误差（MSE）降低超过1000倍，尤其在混沌系统中表现突出。
• 实证结果表明，在噪声逻辑映射中估计参数R与Ω时，MSE达到10^-4量级，而标准MH-within-Gibbs方法的MSE约为0.65。
• 将物理信息融入机器学习可生成更稀疏、更具可解释性的模型，且在相似性能下所需训练数据更少。
• 物理信息约束提升了模型的可信度，并支持对观测数据之外区域的外推，解决了纯数据驱动模型的关键局限。
• 混合建模框架提升了计算效率，并支持不确定性量化，使其适用于复杂地球系统应用。