[论文解读] Combining Physics-Based Domain Knowledge and Machine Learning using Variational Gaussian Processes with Explicit Linear Prior.

Daniel Marino, Milos Manic|arXiv (Cornell University)|Jun 5, 2019

Gaussian Processes and Bayesian Inference参考文献 15被引用 5

一句话总结

本文提出EVGP，一种变分高斯过程模型，通过显式线性先验整合部分基于物理的领域知识，以增强归纳偏置、可扩展性和可解释性。通过将牛顿力学作为先验知识与数据驱动学习相结合，EVGP在低数据场景下显著提升了泛化能力，优于完全基于数据的模型。

ABSTRACT

Centuries of development in natural sciences and mathematical modeling provide valuable domain expert knowledge that has yet to be explored for the development of machine learning models. When modeling complex physical systems, both domain knowledge and data contribute important information about the system. In this paper, we present a data-driven model that takes advantage of partial domain knowledge in order to improve generalization and interpretability. The presented model, which we call EVGP (Explicit Variational Gaussian Process), uses an explicit linear prior to incorporate partial domain knowledge while using data to fill in the gaps in knowledge. Variational inference was used to obtain a sparse approximation that scales well to large datasets. The advantages include: 1) using partial domain knowledge to improve inductive bias (assumptions of the model), 2) scalability to large datasets, 3) improved interpretability. We show how the EVGP model can be used to learn system dynamics using basic Newtonian mechanics as prior knowledge. We demonstrate that using simple priors from partially defined physics models considerably improves performance when compared to fully data-driven models.

研究动机与目标

• 开发一种机器学习模型，利用来自物理定律的部分领域知识以增强归纳偏置和模型性能。
• 解决纯数据驱动模型因数据不足而在泛化到未见场景时的局限性。
• 在保持可解释性并融入专家知识的同时，将高斯过程回归扩展至大规模数据集。
• 证明即使物理先验不完整，也能显著提升系统动力学建模中的学习效果。

提出的方法

• EVGP模型使用从已知物理定律（如牛顿力学）推导出的显式线性先验，将部分领域知识编码到模型结构中。
• 应用变分推断推导稀疏近似，实现大规模数据集上的高效训练与推理。
• 通过概率框架将先验知识与观测数据结合，实现不确定性量化和鲁棒学习。
• 将显式线性先验嵌入高斯过程的均值函数中，确保模型尊重已知的物理约束。
• 变分近似实现可处理的优化与可扩展性，使该方法适用于实际应用场景。

实验结果

研究问题

• RQ1 能否有效将部分物理知识编码进机器学习模型以提升泛化能力？
• RQ2 与纯数据驱动方法相比，整合基于物理的先验如何影响模型性能？
• RQ3 变分推断在在多大程度上能实现高斯过程的可扩展性，同时保持可解释性和归纳偏置？
• RQ4 从牛顿力学推导出的简单线性先验能否显著提升系统动力学的学习效果？

主要发现

• 由于物理先验带来的改进归纳偏置，EVGP在数据有限的情况下显著优于完全基于数据的模型，尤其在学习系统动力学方面表现更优。
• 将牛顿力学作为线性先验整合后，预测结果比基线模型更准确且更符合物理规律。
• 变分推断方法使模型能够高效扩展至大规模数据集，同时保持不确定性估计。
• 模型表现出改进的可解释性，因为显式线性先验允许直接观察物理定律如何影响预测结果。