[论文解读] A Neuro-Symbolic Method for Solving Differential and Functional Equations

Maysum Panju, Ali Ghodsi|arXiv (Cornell University)|Nov 4, 2020

Model Reduction and Neural Networks参考文献 14被引用 6

一句话总结

该论文提出了一种神经符号框架，利用可微分神经架构直接学习符号数学表达式以求解微分方程和函数方程。通过基于梯度的训练优化可定制的损失函数，该方法即使在不存在精确解析解的情况下，也能生成可解释的符号近似解，在Lane-Emden方程、非初等积分和函数反演问题上均取得成功。

ABSTRACT

When neural networks are used to solve differential equations, they usually produce solutions in the form of black-box functions that are not directly mathematically interpretable. We introduce a method for generating symbolic expressions to solve differential equations while leveraging deep learning training methods. Unlike existing methods, our system does not require learning a language model over symbolic mathematics, making it scalable, compact, and easily adaptable for a variety of tasks and configurations. As part of the method, we propose a novel neural architecture for learning mathematical expressions to optimize a customizable objective. The system is designed to always return a valid symbolic formula, generating a useful approximation when an exact analytic solution to a differential equation is not or cannot be found. We demonstrate through examples how our method can be applied on a number of differential equations, often obtaining symbolic approximations that are useful or insightful. Furthermore, we show how the system can be effortlessly generalized to find symbolic solutions to other mathematical tasks, including integration and functional equations.

研究动机与目标

• 开发一种可扩展且可解释的符号形式微分方程求解方法，避免依赖预训练语言模型。
• 使深度学习能够直接发现最小化用户定义成本函数的符号表达式。
• 在精确解析解不可用或无法获得时，生成有用的符号近似解。
• 将该框架推广至微分方程之外的任务，如积分和函数反演。
• 弥合神经网络精度与符号可解释性在数学问题求解中的差距。

提出的方法

• 该方法引入了一种基于神经网络的符号函数学习器（SFL），这是一种可微分神经架构，能够从预定义的运算符和函数语法规则中生成有效的符号表达式。
• SFL 使用基于梯度的优化方法最小化可定制的目标函数，实现端到端训练，无需语言建模。
• 系统将符号表达式构建为带可学习参数的解析树，确保推理时的语法正确性。
• 通过重新定义目标函数，该框架可支持多种数学任务，例如针对常微分方程最小化残差误差，或针对反导数最小化积分近似误差。
• 通过扩展输入和输出空间，该方法可推广至偏微分方程和函数方程。
• 即使在函数空间中不存在精确解时，也能生成符号近似解，为解的结构提供洞察。

实验结果

研究问题

• RQ1 能否在不依赖预训练语言模型的前提下，利用深度学习直接发现微分方程的符号解？
• RQ2 可微分神经架构能否生成有效且可解释的符号表达式，以近似那些无初等闭式解的方程的解？
• RQ3 该方法在近似非初等函数积分时的效率如何？
• RQ4 该框架能否扩展以求解函数方程并计算函数反演？
• RQ5 符号近似解在多大程度上能揭示真实解的形状与行为特征？

主要发现

• 该方法成功为 $e^{-x^2}$ 在 $[-2,2]$ 上的积分生成了符号近似解，在 $[-1,3]$ 区间内近似误差函数的残差误差为 0.000006464。
• 半自动推导出误差函数的简化符号表达式，与标准正态累积分布函数高度一致，误差极小。
• 该框架对椭圆积分 $\int_0^x \sqrt{1-t^4} dt$ 生成了精确的符号近似解，展示了其在非初等积分中的实用性。
• 该方法对 $\sin(\sin(x))$ 和 $\sqrt{\sin(x)}$ 的积分进行了低误差近似，尽管这些函数无初等原函数。
• 针对 $c(x) = x^3 + x + 1$ 学习到了一个符号反函数，两层SFL使用正弦函数生成了高度精确的近似解。
• 即使未找到精确解，系统仍能持续返回有效的符号表达式，并为解的结构提供有意义的洞察。