[论文解读] Learning to Discover Efficient Mathematical Identities

Wojciech Zaremba, Karol Kurach+1 more|arXiv (Cornell University)|Jun 6, 2014

Natural Language Processing Techniques参考文献 28被引用 35

一句话总结

本文提出一种基于学习的框架，通过在运算符语法生成的符号表达式树中探索，自动发现计算效率高的数学恒等式。利用n-gram模型和在简单恒等式上训练的递归神经网络（RNN），该方法能高效发现复杂且低复杂度的替代表达式——例如将O(n³)的计算量降低至O(n²)——这些表达式对于暴力搜索或人工推导均不可行。

ABSTRACT

In this paper we explore how machine learning techniques can be applied to the discovery of efficient mathematical identities. We introduce an attribute grammar framework for representing symbolic expressions. Given a set of grammar rules we build trees that combine different rules, looking for branches which yield compositions that are analytically equivalent to a target expression, but of lower computational complexity. However, as the size of the trees grows exponentially with the complexity of the target expression, brute force search is impractical for all but the simplest of expressions. Consequently, we introduce two novel learning approaches that are able to learn from simpler expressions to guide the tree search. The first of these is a simple n-gram model, the other being a recursive neural-network. We show how these approaches enable us to derive complex identities, beyond reach of brute-force search, or human derivation.

研究动机与目标

• 解决为复杂符号表达式发现计算高效数学恒等式的挑战。
• 克服在枚举给定目标的所有可能表达式树时搜索空间的指数级爆炸问题。
• 利用机器学习从简单表达式的解中泛化，引导搜索朝向高效恒等式。
• 实现自动发现新颖恒等式，将计算复杂度从指数或立方级降低至平方级。
• 证明所学习的搜索策略在复杂且此前难以处理的表达式上优于随机或暴力搜索方法。

提出的方法

• 使用属性文法框架形式化符号表达式，定义数学运算符的合法组合方式。
• 将表达式表示为由文法规则构建的树结构，其中每个节点对应一个运算或操作数。
• 采用n-gram模型学习从简单目标（如k=2至k=5）中获得的成功表达式树中的重复模式。
• 训练递归神经网络（RNN）以学习符号表达式的连续向量表示，并预测树中下一步操作以最小化复杂度。
• 采用迁移学习：先在表达式表示上预训练RNN，再微调其以预测通向目标表达式的高效下一步。
• 应用由学习模型引导的搜索策略，探索有希望的子树，避免穷举枚举。

实验结果

研究问题

• RQ1 在简单恒等式上训练的机器学习模型能否泛化至发现更复杂表达式的高效恒等式？
• RQ2 n-gram与RNN模型在发现低复杂度符号恒等式方面，与随机或暴力搜索相比能多大程度上实现性能超越？
• RQ3 不同序列建模方法（n-gram与RNN）在捕捉符号表达式树中结构模式方面的有效性如何？
• RQ4 该框架能否发现对人工推导或穷举搜索而言过于复杂的恒等式？
• RQ5 随着表达式复杂度（如k值）增加，学习引导的搜索策略的可扩展性如何？

主要发现

• n-gram与RNN驱动的搜索策略成功发现了将矩阵表达式（如sum(sum(A*B))及更高次幂积）的计算复杂度从O(n³)降低至O(n²)的恒等式。
• 对于k=6，框架发现了sum(sum((A*B)^k))的O(n²)恒等式，该结果通过暴力或随机搜索均无法获得。
• 在重复结构（如交替的A*B模式）中，3-gram模型优于RNN，在k=2和k=3时均达到100%成功率。
• 在最复杂的类别（RBM-2）中，当k>5时，所有方法均未优于随机搜索，但RNN在k=5时找到解的速度显著更快（100±12秒 vs. 438±77秒）。
• 随着k的增加，可能的表达式树数量迅速增长：k=6时达9,785种，使穷举搜索在k较小时即不可行。
• 递归神经网络学习到了符号表达式的有意义连续表示，从而实现了对不同结构模式的有效泛化。