[论文解读] Deep Generative Symbolic Regression

Samuel Holt, Zhaozhi Qian+1 more|arXiv (Cornell University)|Dec 30, 2023

Evolutionary Algorithms and Applications被引用 4

一句话总结

该论文提出了一种新型框架——深度生成符号回归（DGSR），利用预训练的深度生成模型学习数学方程的不变表示，从而实现可扩展的符号回归，提升泛化能力和效率。DGSR在高维问题上实现了最先进的方程恢复率，并通过在不变神经网络中编码方程的对称性（如交换律和分配律）以及端到端的贝叶斯启发式训练，显著降低了推理时间，相较于强化学习基线方法表现出更优性能。

ABSTRACT

Symbolic regression (SR) aims to discover concise closed-form mathematical equations from data, a task fundamental to scientific discovery. However, the problem is highly challenging because closed-form equations lie in a complex combinatorial search space. Existing methods, ranging from heuristic search to reinforcement learning, fail to scale with the number of input variables. We make the observation that closed-form equations often have structural characteristics and invariances (e.g., the commutative law) that could be further exploited to build more effective symbolic regression solutions. Motivated by this observation, our key contribution is to leverage pre-trained deep generative models to capture the intrinsic regularities of equations, thereby providing a solid foundation for subsequent optimization steps. We show that our novel formalism unifies several prominent approaches of symbolic regression and offers a new perspective to justify and improve on the previous ad hoc designs, such as the usage of cross-entropy loss during pre-training. Specifically, we propose an instantiation of our framework, Deep Generative Symbolic Regression (DGSR). In our experiments, we show that DGSR achieves a higher recovery rate of true equations in the setting of a larger number of input variables, and it is more computationally efficient at inference time than state-of-the-art RL symbolic regression solutions.

研究动机与目标

• 为解决现有符号回归方法在处理大量输入变量时面临的可扩展性和计算低效问题。
• 学习能够编码结构不变性（如交换律和分配律）的方程表示，这些特性在以往方法中常被忽略。
• 实现在推理阶段对未见过的输入变量的有效泛化，同时保持高效推理。
• 通过基于原则的深度生成框架实现端到端训练，统一并改进以往的符号回归方法。

提出的方法

• DGSR采用端到端训练的深度条件生成模型，利用贝叶斯推理启发的损失函数，学习方程的不变表示。
• 模型使用不变神经网络，显式地在方程结构中编码对称性，如交换律和分配律。
• 方程不以树或序列形式表示，而是以保持已知代数变换下等价性的结构化潜在表示形式呈现。
• 该框架支持在推理时对预训练模型进行基于梯度的微调，实现高效优化而无需重新训练。
• 预训练在大规模方程语料上进行，学习内在规律与不变性，随后通过数据特定的梯度进行微调。
• 通过利用预训练生成模型的归纳偏差及其结构化潜在空间，方法可泛化到预训练期间未见过的更高维输入变量。

Figure 2: Block diagram of DGSR. DGSR is able to learn the invariances of equations and datasets $\mathcal{D}$ (P1) by having both: (1) an encoding architecture that is permutation invariant across the number of samples $n$ in the observed dataset $\mathcal{D}=\{(\mathbf{X}_{i},y_{i})\}_{i=1}^{n}$ ,

实验结果

研究问题

• RQ1 深度生成模型能否有效捕捉并编码符号回归中的代数不变性（如交换律和分配律）？
• RQ2 学习不变方程表示是否能提升符号回归在输入变量数量增加时的可扩展性与泛化能力？
• RQ3 对预训练生成模型进行端到端训练，能否实现在无需完整重训练的前提下高效推理与基于梯度的微调？
• RQ4 在方程恢复率与计算成本方面，DGSR相较于强化学习与基于启发式的符号回归方法表现如何？
• RQ5 所提出的框架能否实现比现有方法更高的输入维度泛化能力？

主要发现

• 在输入变量数量较多的设置下，DGSR相较于最先进的强化学习与基于启发式的符号回归方法，实现了更高的真实底层方程恢复率。
• 与强化学习基线相比，该框架在推理时间上的计算成本显著降低，实现了更快的方程发现速度。
• DGSR能有效泛化到预训练期间未见的更高维输入变量，满足了可扩展性的目标。
• 采用贝叶斯启发式损失的端到端训练方案，能够有效实现对预训练模型的梯度微调，提升数据特定性能，而无需重新训练。
• DGSR在SRBench基准数据集上实现了最先进的性能，尤其在恢复具有高度对称性与结构复杂性的方程方面表现突出。
• 消融实验表明，通过不变神经网络编码不变性对性能至关重要，尤其在高维设置下更为显著。

Figure 3: (a) Number of unique ground truth $f^{*}$ equivalent equations discovered for problem Feynman-7 (A. L ), (b) Percentage of valid equations generated from a sample of $k$ for problem Feynman-7 (A. L ), (c) Average recovery rate of Feynman $d=2$ , Feynman $d=5$ and Synthetic $d=12$ benchmark