[论文解读] Deep Learning for Symbolic Mathematics

Guillaume Lample, François Charton|arXiv (Cornell University)|Dec 2, 2019

Natural Language Processing Techniques参考文献 29被引用 47

一句话总结

作者展示序列到序列模型在符号数学方面的有效表现，特别是在符号积分和求解ODE方面，与 Matlab/Mathematica 相当甚至超过；通过将表达式表示为前缀树并生成大规模合成数据集。

ABSTRACT

Neural networks have a reputation for being better at solving statistical or approximate problems than at performing calculations or working with symbolic data. In this paper, we show that they can be surprisingly good at more elaborated tasks in mathematics, such as symbolic integration and solving differential equations. We propose a syntax for representing mathematical problems, and methods for generating large datasets that can be used to train sequence-to-sequence models. We achieve results that outperform commercial Computer Algebra Systems such as Matlab or Mathematica.

研究动机与目标

• 提出一种适用于神经序列到序列模型的表示数学问题的语法。
• 生成用于符号任务的大规模、多样化数据集，包括积分和ODEs。
• 训练基于Transformer的模型以预测符号解并与计算代数系统（CAS）工具进行评估。
• 证明神经模型在这些任务上能够超越商用系统。

提出的方法

• 将表达式表示为树，并将其编码为前缀序列以输入到 seq2seq 模型。
• 生成具有受控运算符/叶节点计数的随机表达式，并研究组合空间（Catalan/Schroeder 数）
• 为积分问题创建前向、后向和分部积分数据生成流水线，以及生成可解的一阶和二阶ODE的方法。
• 训练 Transformer 模型（8 heads, 6 layers, hidden 512）并使用 Adam，在解码期间进行束搜索以生成候选解。
• 通过对参考解的符号等价性检查来评估模型生成的解（如可用时与CAS输出对比）。
• 在时间限制和不同束宽下，与 Mathematica、Maple、Matlab 的性能进行比较。

实验结果

研究问题

• RQ1 神经序列到序列模型是否能够从合成数据中学习执行符号积分和求解微分方程？
• RQ2 数据生成策略（FWD、BWD、IBP）如何影响模型学习与泛化？
• RQ3 神经模型在这些符号任务上在多大程度上能够胜过传统计算代数系统？
• RQ4 束搜索对符号问题求解的准确率有何影响？
• RQ5 生成的解在符号等价性下是否等价于参考解？

主要发现

任务	Beam size 1	Beam size 10	Beam size 50
Integration (FWD)	93.6	95.6	96.2
Integration (BWD)	98.4	99.4	99.7
Integration (IBP)	96.8	99.2	99.5
ODE (order 1)	77.582	90.547	93.973
ODE (order 2)	43.014	73.021	81.166

• 模型在三种数据生成方法下使用贪婪解码对积分几乎达到100％的准确率。
• 束宽显著提高ODE求解：阶1从77.6%（束1）提升至90.5%（束10）再至93.97%（束50）；阶2从43.0%（束1）提升至73.0%（束10）再至81.17%（束50）。
• 在一个500个方程的保留测试集上，Mathematica在30秒超时下对BWD积分解为84.0%，而神经模型在束50下在某些配置中达到积分99.6%且对阶2 ODE达到97.0%。
• 总体而言，神经模型在积分方面显著优于Mathematica，并且在束宽较大时，在ODE上也优于Mathematica。
• 模型能够为一个问题生成多种等价但写法不同的解，展示对等价性识别的非平凡符号性能力，且未对等价性进行显式训练。