[论文解读] Deep Symbolic Regression for Recurrent Sequences

Stéphane d’Ascoli, Pierre-Alexandre Kamienny+2 more|arXiv (Cornell University)|Jan 12, 2022

Evolutionary Algorithms and Applications被引用 26

一句话总结

本文训练 Transformer 模型从序列的前几项（整数和浮点数）推断递推关系，在 OEIS 和未在词汇表中的常量上进行评估，以展示符号回归相对于纯数值外推的优势。

ABSTRACT

Symbolic regression, i.e. predicting a function from the observation of its values, is well-known to be a challenging task. In this paper, we train Transformers to infer the function or recurrence relation underlying sequences of integers or floats, a typical task in human IQ tests which has hardly been tackled in the machine learning literature. We evaluate our integer model on a subset of OEIS sequences, and show that it outperforms built-in Mathematica functions for recurrence prediction. We also demonstrate that our float model is able to yield informative approximations of out-of-vocabulary functions and constants, e.g. $\operatorname{bessel0}(x)\approx \frac{\sin(x)+\cos(x)}{\sqrt{πx}}$ and $1.644934\approx π^2/6$. An interactive demonstration of our models is provided at https://symbolicregression.metademolab.com.

研究动机与目标

• 激励从序列（包括整数和浮点数）中推断递推关系的挑战。
• 开发基于 Transformer 的模型，进行递归表达式的符号和数值回归。
• 创建可控递推深度和运算符集合的合成数据生成流程。
• 在域内和域外对比基线进行评估。
• 展示用学习到的词汇来近似域外常量和函数的能力。

提出的方法

• 使用 8 层 Transformer 编码器-解码器，512 维嵌入，将序列映射为递推表达式或下一个项序列。
• 使用 base-b 整数编码和 base-10 浮点符号，将序列和候选表达式表示为标记序列，并对树进行前缀（波兰）编码。
• 使用交叉熵损失和 Adam 优化器训练，配合热身计划和平方根反比衰减。
• 通过随机构造一元二元运算符树来生成训练数据，采样叶节点（常数、下标或前项），并产生长度不超过 l 的序列。
• 用束搜索（大小为 10）评估假设，并通过预测的递推关系再现初始项的能力进行再排序。
• 将符号回归（递推推断）与数值回归（直接预测下一个项）进行比较，在域内和域外数据上进行测试。

实验结果

研究问题

• RQ1 变压器是否能够从观测到的序列项（整数和浮点设置）推断递推关系？
• RQ2 在递归序列上，符号模型的外推是否比数值模型更高精度？
• RQ3 学得的模型对域外序列（如某些 OEIS 条目或未在词汇表中的常量和运算符）有多大泛化能力？
• RQ4 在此设置中，符号递推推断的局限性和失败模式是什么？
• RQ5 模型如何处理域内与域外序列，它们的性能受哪些因素影响（运算符数量、递推度、序列长度）？

主要发现

• 符号模型在域内达到高准确性，且在外推时通常比数值模型具有更高的精度。
• 在整数序列上，符号模型在 n_op<=5 时达到 92.7% 的准确率，数值预测为 83.6%，在指定设置中；浮点模型在 n_op<=5 时达到 74.2% 的符号准确性和 45.6% 的数值准确性。
• 整数 OEIS 子集评估显示，符号模型能够为若干序列检索到有效的递推关系，优于报告设置中的 Mathematica FindSequenceFunction 与 FindLinearRecurrence。
• 浮点模型展示了近似域外常量和函数的能力，给出渐近或精确表达式（如 Bessel j0 的渐近），以及对 pi^2/6 等常量的接近近似。
• 域外实验表明模型可以泛化到未见过的递推和未在词汇表中的标记，尽管难度和运算符多样性增加时性能下降。
• 消融分析表明，随着运算符增多、递推度提升和输入长度缩短，准确性下降，符号模型在更长的预测 horizon 上表现出更强的鲁棒性。