[论文解读] End-to-end symbolic regression with transformers

Pierre-Alexandre Kamienny, Stéphane d’Ascoli+2 more|arXiv (Cornell University)|Apr 22, 2022

Evolutionary Algorithms and Applications被引用 9

一句话总结

该论文提出一种基于Transformer的端到端符号回归方法，通过使用混合符号-数值词汇表，直接预测包含数值常数的完整数学表达式。该方法在SRBench基准测试中达到最先进性能，接近遗传编程的水平，同时推理速度提升数个数量级，尤其在低噪声和外推场景下表现优异，经BFGS优化后进一步提升性能。

ABSTRACT

Symbolic regression, the task of predicting the mathematical expression of a function from the observation of its values, is a difficult task which usually involves a two-step procedure: predicting the "skeleton" of the expression up to the choice of numerical constants, then fitting the constants by optimizing a non-convex loss function. The dominant approach is genetic programming, which evolves candidates by iterating this subroutine a large number of times. Neural networks have recently been tasked to predict the correct skeleton in a single try, but remain much less powerful. In this paper, we challenge this two-step procedure, and task a Transformer to directly predict the full mathematical expression, constants included. One can subsequently refine the predicted constants by feeding them to the non-convex optimizer as an informed initialization. We present ablations to show that this end-to-end approach yields better results, sometimes even without the refinement step. We evaluate our model on problems from the SRBench benchmark and show that our model approaches the performance of state-of-the-art genetic programming with several orders of magnitude faster inference.

研究动机与目标

• 克服两步符号回归的局限性，即骨架预测与常数拟合分离导致的误差累积问题。
• 通过深度学习实现完整数学表达式（包括数值常数）的直接、端到端预测。
• 相比最先进遗传编程（GP）方法，在保持高准确率的同时提升推理速度与鲁棒性。
• 展示模型在多达10个输入特征的问题上的可扩展性，突破以往基于深度学习的SR模型仅限于D ≤ 3的限制。
• 评估模型在噪声和外推场景下的鲁棒性，并证明基于模型预测的有 informed 初始化可显著提升非凸优化的收敛性。

提出的方法

• 模型采用混合符号-数值词汇表，包含运算符、变量和数值常数的标记，实现数学表达式的端到端序列生成。
• 基于Transformer架构，在合成数据集上进行训练，直接从输入-输出对预测完整表达式，跳过骨架预测步骤。
• 预测后，利用BFGS优化对模型输出进行精炼，以预测的常数作为有信息的初始猜测，提升收敛速度与精度。
• 采用专门设计的分词与生成技术，使模型可扩展至高维问题（最高D=10），而此前模型多受限于D≤3。
• 训练数据通过从预定义的数学表达式语法中采样生成，确保训练样本的多样性与真实性。
• 推理通过一次Transformer前向传播加一次BFGS调用完成，实现毫秒级响应，支持实时部署。

实验结果

研究问题

• RQ1 Transformer模型能否在不经过中间骨架预测的情况下，直接预测包含数值常数的完整数学表达式，并达到有竞争力的性能？
• RQ2 与两步骨架基方法相比，端到端预测结合常数联合估计是否能提升准确率与鲁棒性？
• RQ3 预测的常数能否作为BFGS的有效初始化，降低非凸优化中的失败率？
• RQ4 在多样化的符号回归问题中，包括噪声与分布外设置，该模型在推理速度、准确率与泛化能力方面表现如何？
• RQ5 与先前基于深度学习的SR方法相比，该模型在高维问题（D > 3）上的泛化能力达到何种程度？

主要发现

• 端到端模型在SRBench基准测试中的测试准确率与最先进遗传编程方法（如Operon）相差不足2%，且推理速度比基于GP的方法快达1000倍。
• 在Feynman问题上，模型平均准确率（R² > 0.99）排名第四，但生成的公式复杂度远低于表现最佳的GP模型。
• 经BFGS精炼后，模型在标签噪声环境下表现出强鲁棒性，在高噪声条件下优于仅预测骨架的模型。
• 模型在外推任务中泛化能力出色，在测试输入尺度高达σ = 32时仍保持合理性能，远超训练分布范围。
• 模型成功扩展至10个输入特征，显著优于以往基于深度学习的SR模型仅支持D ≤ 3的限制。
• 消融实验表明，即使不进行精炼，端到端训练结合常数预测也优于骨架基方法。