[论文解读] Genetic Programming Based Symbolic Regression for Analytical Solutions to Differential Equations

Hongsup Oh, Roman Amici+4 more|arXiv (Cornell University)|Feb 7, 2023

Evolutionary Algorithms and Applications被引用 6

一句话总结

本文提出一种物理正则化遗传编程符号回归（PR-GPSR）方法，用于发现常微分方程（ODE）和偏微分方程（PDE）的精确解析解。通过将已知微分方程的残差纳入适应度函数，该方法能够可靠地演化出真实的符号解——在四阶ODE和二阶PDE上进行了验证——且无需依赖大规模训练数据，利用符号表达式的固有可解释性，适用于科学与工程应用。

ABSTRACT

In this paper, we present a machine learning method for the discovery of analytic solutions to differential equations. The method utilizes an inherently interpretable algorithm, genetic programming based symbolic regression. Unlike conventional accuracy measures in machine learning we demonstrate the ability to recover true analytic solutions, as opposed to a numerical approximation. The method is verified by assessing its ability to recover known analytic solutions for two separate differential equations. The developed method is compared to a conventional, purely data-driven genetic programming based symbolic regression algorithm. The reliability of successful evolution of the true solution, or an algebraic equivalent, is demonstrated.

研究动机与目标

• 开发一种机器学习方法，用于发现微分方程的精确解析解，而非数值近似解。
• 解决在工程与科学计算中使用的黑箱机器学习模型缺乏可解释性与可解释性的问题。
• 通过在符号回归中引入物理信息正则化，减少对大规模数据集的依赖。
• 通过可验证的符号表达式，实现对ML模型的信任与工程工作流中的集成。
• 证明即使在数据极少的情况下，符号解也能在高维问题中被可靠恢复。

提出的方法

• 以基于遗传编程的符号回归（GPSR）作为核心算法，从一组基本函数和运算符中演化数学表达式。
• 提出一种物理正则化适应度函数，根据已知微分方程及其边界/初始条件的残差对解进行惩罚。
• 适应度函数评估候选符号表达式与控制ODE或PDE的符合程度，促进收敛至精确解。
• 采用支持代数运算、三角函数和常数的符号表达式表示法，实现对解空间的灵活探索。
• 对参数化形式（如相位偏移、振幅）应用局部优化，以验证其与真实解的代数等价性。
• 通过检查演化出的表达式是否能精确满足原始微分方程和边界条件来验证结果。

实验结果

研究问题

• RQ1 在无训练数据条件下，结合物理正则化的遗传编程能否可靠发现已知微分方程的真实解析解？
• RQ2 在缺乏训练数据的情况下，引入不必要的运算符对正确符号形式演化的影响如何？
• RQ3 问题维度对符号解发现的收敛速度与成功率有何影响？
• RQ4 该方法是否能恢复与真实解代数等价的解，即使初始未演化出精确形式？
• RQ5 在仅依赖问题物理规律（通过残差适应度函数编码）而几乎无或无训练数据的情况下，该方法的运行能力如何？

主要发现

• 当仅允许必要数学运算符时，PR-GPSR方法在30次重复实验中均成功恢复了四阶ODE的精确解析解。
• 当引入不必要的运算符时，该方法仅需极少量训练数据即可成功演化出正确的符号形式。
• 对于二阶PDE（泊松方程），该方法在每次实验中均恢复了真实解，即使维度增加，但所需代数数量显著上升。
• 该方法频繁演化出与真实解代数等价的模型形式——如带有微小相位偏移的正弦函数或余弦等价形式——表明对参数变化具有鲁棒性。
• 在欧拉-伯努利ODE案例中，模型膨胀现象更明显，但适应度函数在局部优化后仍能有效引导演化至正确形式。
• 该方法可在无需大规模数据集的情况下发现符号解，转而依赖编码于残差适应度函数中的物理规律。