[论文解读] An Iterative Scientific Machine Learning Approach for Discovery of Theories Underlying Physical Phenomena

Navid Zobeiry, Keith D. Humfeld|arXiv (Cornell University)|Sep 24, 2019

Neural Networks and Applications参考文献 14被引用 4

一句话总结

本文提出一种迭代式科学机器学习方法，无需预先知晓控制方程，即可发现潜在的物理理论。通过在变换后的特征上测试常见函数形式（如幂函数、指数函数和无量纲数）的随机组合，该方法利用神经网络训练和收敛速率识别出高度相关的表达式，成功在三个盲测实验中恢复了封闭形式的物理定律。

ABSTRACT

Form a pure mathematical point of view, common functional forms representing different physical phenomena can be defined. For example, rates of chemical reactions, diffusion and heat transfer are all governed by exponential-type expressions. If machine learning is used for physical problems, inferred from domain knowledge, original features can be transformed in such a way that the end expressions are highly aligned and correlated with the underlying physics. This should significantly reduce the training effort in terms of iterations, architecture and the number of required data points. We extend this by approaching a problem from an agnostic position and propose a systematic and iterative methodology to discover theories underlying physical phenomena. At first, commonly observed functional forms of theoretical expressions are used to transform original features before conducting correlation analysis to output. Using random combinations of highly correlated expressions, training of Neural Networks (NN) are performed. By comparing the rates of convergence or mean error in training, expressions describing the underlying physical problems can be discovered, leading to extracting explicit analytic equations. This approach was used in three blind demonstrations for different physical phenomena.

研究动机与目标

• 开发一种无需理论假设的迭代式机器学习框架，以发现物理现象背后的显式解析方程。
• 通过系统性地测试常见函数形式（如幂律、指数函数、无量纲数）作为候选表达式，减少对领域专业知识的依赖。
• 通过测量特征变换后的神经网络训练收敛性和平均误差，识别最具物理意义的表达式。
• 在力学、传热和气体动力学等不同物理领域中，通过盲测场景验证该方法的有效性。
• 为数据稀缺的物理系统提供一种系统化、可解释的替代方案，以替代黑箱机器学习在科学发现中的应用。

提出的方法

• 该方法首先从输入特征生成候选函数形式库（如幂函数、指数函数、三角函数、倒数等），灵感来源于常见的物理表达式。
• 针对每个候选表达式，对原始特征进行变换，并将其作为输入训练神经网络，输出为测量得到的物理量。
• 以训练性能（通过收敛速度和平均误差衡量）作为指标对候选表达式进行排序，收敛越快表明与真实底层物理的相关性越强。
• 该方法结合了迭代相关性分析与神经网络训练，选择相关性最高的函数形式作为真实物理定律的潜在组成部分。
• 通过利用已知物理单位和量纲分析缩小搜索空间，尤其在输入单位可用时效果显著。
• 最终候选表达式通过与已知封闭形式解进行比较进行验证，通过代数变换（如 $X^{-2} = (X^{-4})^{0.5}$）检查等价性。

实验结果

研究问题

• RQ1 机器学习方法是否能在不了解系统控制方程或函数形式的前提下，发现其底层物理定律？
• RQ2 使用常见物理函数形式（如幂律、指数函数、无量纲数）通过迭代测试，其在识别正确表达式方面的有效性如何？
• RQ3 训练收敛速率和平均误差在多大程度上可作为候选函数形式正确性的可靠指标？
• RQ4 输入单位和量纲分析在多大程度上影响发现过程的效率与准确性？
• RQ5 该方法能否区分精确的物理表达式与其数学等价但物理意义误导的推导形式？

主要发现

• 该方法通过迭代相关性分析与神经网络训练，成功恢复了运动方程的精确封闭形式解（$x = x_0 + v_0 t + rac{1}{2} a t^2$）。
• 在对流换热中的努塞尔数问题中，该方法识别出与已知解高度相似的表达式，包含 $Re^{1/2}$、$Pr^{1/3}$ 和 $ ho^{-1/2}$ 等成分，尽管由于搜索空间的近似性而未完全一致。
• 在斜激波问题中，检测到多个等价表达式（如 $M^{-1}$、$M^{-2}$、$ aneta$、$ ext{csc}eta$），方法虽存在代数冗余，但仍成功识别出关键函数成分。
• 引入输入单位显著减少了候选函数数量，并提高了发现效率，尤其在第三次演示中效果明显。
• 当检测到数学等价但物理上不唯一的表达式（如 $X^{-2} = (X^{-4})^{0.5}$）时，出现了误报，凸显了在物理等价与代数等价之间进行区分的挑战。
• 该方法在三个不同物理领域中的盲测中表现出色，验证了其作为科学理论发现起点的潜力。