[论文解读] Integrating Machine Learning with Physics-Based Modeling

E Weinan, Jiequn Han+1 more|arXiv (Cornell University)|Jun 4, 2020

Machine Learning in Materials Science参考文献 42被引用 26

一句话总结

本文提出了一种将机器学习与基于物理的建模相结合的框架，通过嵌入物理约束并使用数据驱动的闭包方法来构建多尺度模型。结果表明，机器学习能够可靠地近似复杂物理行为（如稀薄气体中的激波结构），其结果与玻尔兹曼方程的预测更为一致，优于经典的纳维-斯托克斯-傅里叶模型。

ABSTRACT

Machine learning is poised as a very powerful tool that can drastically improve our ability to carry out scientific research. However, many issues need to be addressed before this becomes a reality. This article focuses on one particular issue of broad interest: How can we integrate machine learning with physics-based modeling to develop new interpretable and truly reliable physical models? After introducing the general guidelines, we discuss the two most important issues for developing machine learning-based physical models: Imposing physical constraints and obtaining optimal datasets. We also provide a simple and intuitive explanation for the fundamental reasons behind the success of modern machine learning, as well as an introduction to the concurrent machine learning framework needed for integrating machine learning with physics-based modeling. Molecular dynamics and moment closure of kinetic equations are used as examples to illustrate the main issues discussed. We end with a general discussion on where this integration will lead us to, and where the new frontier will be after machine learning is successfully integrated into scientific modeling.

研究动机与目标

• 通过将机器学习与第一性原理物理相结合，开发可解释且可靠的物理模型。
• 解决构建尊重守恒律、对称性及参考系无关性的物理一致机器学习模型的挑战。
• 通过利用微观尺度模型作为高保真度训练数据源，实现在数据高效且可泛化建模。
• 探索机器学习在从微观动力学（如动理学理论和分子动力学）推导有效宏观模型中的作用。
• 识别在机器学习成功融入基于物理的框架之后，科学建模的下一个前沿领域。

提出的方法

• 将物理约束（如守恒律、对称性）直接嵌入神经网络模型的损失函数中，以确保模型的可解释性和可靠性。
• 采用并行的机器学习框架，通过闭包关系将微观尺度模拟与宏观尺度模型耦合。
• 应用Mori-Zwanzig形式化方法推导非马尔可夫、具有记忆依赖性的动力学，并利用循环神经网络对之进行近似。
• 在动理学方程中应用矩闭包技术，使用埃尔米特多项式表示高阶矩，训练神经网络以预测闭包项。
• 利用玻尔兹曼方程或薛定谔方程的高保真数据作为监督训练中“黄金标准”的标签。
• 通过主成分分析和数据驱动投影实现降阶建模，以在保留关键动力学的同时简化复杂系统。

实验结果

研究问题

• RQ1 如何约束机器学习模型以尊重守恒律、对称性等基本物理原理？
• RQ2 当已知微观尺度物理但计算成本过高时，生成机器学习模型训练数据的最佳方式是什么？
• RQ3 在高马赫数流动中，基于机器学习的矩方程闭包能否再现全玻尔兹曼方程的精度？
• RQ4 Mori-Zwanzig形式化方法与循环神经网络在建模非马尔可夫系统中记忆效应方面有何关联？
• RQ5 在机器学习成功融入基于物理的框架之后，科学建模的下一个前沿领域是什么？

主要发现

• 基于机器学习的闭包模型（HermMLC）在马赫数5.5的激波结构中与玻尔兹曼方程结果高度一致，优于经典的纳维-斯托克斯-傅里叶模型。
• 在高速稀薄气体流动中，所提出的模型成功捕捉了非平衡效应，如温度超调和非单调应力分布。
• 将物理约束整合到损失函数中，可确保学习到的模型在不同条件下保持物理意义且具有鲁棒性。
• 循环神经网络能够有效建模非马尔可夫系统中的记忆效应，为Mori-Zwanzig形式化提供计算实现。
• 该框架可实现可解释、高保真度的建模，其可靠性与第一性原理模型相当，但计算效率更高。
• 科学建模的下一个主要瓶颈将是来自微观尺度模型（如薛定谔方程或纳维-斯托克斯方程）生成高质量、高保真度数据。