[论文解读] Deep Learning and Symbolic Regression for Discovering Parametric Equations

Michael Zhang, Samuel Kim+2 more|arXiv (Cornell University)|Jul 1, 2022

Model Reduction and Neural Networks被引用 6

一句话总结

本文提出了一种深度学习框架，将符号回归扩展至发现具有变化系数的参数方程，采用两种新型架构——堆叠EQL（SEQL）和超EQL（HEQL）——从数据中学习可解释的数学表达式。该方法在发现复杂参数方程和偏微分方程（PDEs）方面表现出高精度，包括具有空间变化系数的方程，并在训练域之外展现出良好的泛化能力。

ABSTRACT

Symbolic regression is a machine learning technique that can learn the governing formulas of data and thus has the potential to transform scientific discovery. However, symbolic regression is still limited in the complexity and dimensionality of the systems that it can analyze. Deep learning on the other hand has transformed machine learning in its ability to analyze extremely complex and high-dimensional datasets. We propose a neural network architecture to extend symbolic regression to parametric systems where some coefficient may vary but the structure of the underlying governing equation remains constant. We demonstrate our method on various analytic expressions, ODEs, and PDEs with varying coefficients and show that it extrapolates well outside of the training domain. The neural network-based architecture can also integrate with other deep learning architectures so that it can analyze high-dimensional data while being trained end-to-end. To this end we integrate our architecture with convolutional neural networks to analyze 1D images of varying spring systems.

研究动机与目标

• 解决符号回归在处理具有变化系数的复杂高维系统时的局限性。
• 将基于深度学习的符号回归扩展至方程结构保持不变但系数变化的参数方程。
• 开发端到端可训练的神经架构，能够从数据中发现可解释的数学表达式，包括偏微分方程（PDEs）。
• 实现在参数系统中超越训练域的泛化与外推能力。
• 与深度学习编码器（如卷积网络）集成，用于分析高维数据（如动力系统的图像）。

提出的方法

• 提出堆叠EQL（SEQL）架构，通过堆叠多个EQL模块来建模具有变化系数的复杂参数方程。
• 引入超EQL（HEQL）架构，利用超网络根据输入参数生成符号表达式的系数。
• 采用可微分的符号回归框架，将全连接网络中的激活函数替换为基本函数（如+、*、sin、x²）。
• 使用反向传播端到端训练整个模型，实现符号结构与系数函数的联合优化。
• 集成卷积编码器以处理高维输入数据（如弹簧系统的1D图像），再输入到符号回归头部。
• 使用基于均方误差（MSE）的损失函数，比较预测输出与真实输出，以指导训练和方程发现。

Figure 1: Equation Learner (EQL) Architectures and Variants for Parametric Equations. (a) Architecture of the base EQL network with relaxed $L_{0}$ regularization. The weights $\mathbf{W}$ are re-parameterized as an element-wise product of the gate variables $\mathbf{z}$ and the weight values $\tild

实验结果

研究问题

• RQ1 基于深度学习的符号回归是否能比传统符号回归更有效地发现具有变化系数的参数方程？
• RQ2 SEQL与HEQL架构在训练域外未见参数值上的泛化能力如何？
• RQ3 当与卷积编码器结合时，该方法在高维数据（如动力系统的图像）上的可扩展性如何？
• RQ4 当真实方程涉及复杂或非线性系数变化时，符号回归过程的失败模式是什么？
• RQ5 SEQL在发现具有振荡或非线性系数依赖关系的方程时，与HEQL相比表现如何？

主要发现

• SEQL与HEQL架构在所有五个解析基准方程中均成功发现，最佳试验的测试MSE值低于1.21×10⁻⁷，表现出高精度。
• 对于解析函数 $ f_3 = t x $，SEQL与HEQL均达到测试MSE为 $ 5.72 \times 10^{-15} $，表明对真实方程的近乎完美恢复。
• 在对流-扩散PDE上，模型达到测试MSE为 $ 1.08 \times 10^{-5} $，表明在具有空间变化系数的复杂PDE上表现强劲。
• HEQL模型偶尔未能合并相同的正弦项，而是学习到等价但非最优的形式（如 $ a(t)\sin(b(t)x) + c(t)\sin(d(t)x) $，其中 $ b(t) \approx d(t) $），表明在符号简化方面存在局限性。
• 在 $ f_4 = t x^2 + 3\sin(t) x $ 上，SEQL优于HEQL，测试MSE为 $ 9.47 \times 10^{-6} $，而HEQL为 $ 3.17 \times 10^{-5} $，表明SEQL在多项式加正弦形式上具有更好的泛化能力。
• 该方法展现出强大的外推能力：对于 $ f_5 = \sin\left(\frac{5+t}{2} \cdot x\right) $，最佳试验的测试MSE为 $ 3.63 \times 10^{-8} $，即使在参数值超出训练范围时也表现良好。

Figure 2: Learning parametric equations. (a, b) Learning the function $f_{1}$ which contains a discontinuity at $t=0$ . (c, d) Learning the function $f_{2}$ which corresponds to a sinusoid with a frequency that varies non-smoothly as a function of $t$ . (a, c) Predictions after training the EQL, SEQ