[论文解读] Attending to Mathematical Language with Transformers

Artit Wangperawong|arXiv (Cornell University)|Dec 5, 2018

Topic Modeling参考文献 16被引用 21

一句话总结

本文提出将基于 Transformer 的模型用于理解与评估数学表达式，将其作为字符级别的序列转换任务。通过使用自注意力机制而无需循环或卷积，模型在涉及正负小数的符号表达式评估中最高达到 84.9% 的准确率，错误结果通常仅与正确输出相差一到两个字符。

ABSTRACT

Mathematical expressions were generated, evaluated and used to train neural network models based on the transformer architecture. The expressions and their targets were analyzed as a character-level sequence transduction task in which the encoder and decoder are built on attention mechanisms. Three models were trained to understand and evaluate symbolic variables and expressions in mathematics: (1) the self-attentive and feed-forward transformer without recurrence or convolution, (2) the universal transformer with recurrence, and (3) the adaptive universal transformer with recurrence and adaptive computation time. The models respectively achieved test accuracies as high as 76.1%, 78.8% and 84.9% in evaluating the expressions to match the target values. For the cases inferred incorrectly, the results differed from the targets by only one or two characters. The models notably learned to add, subtract and multiply both positive and negative decimal numbers of variable digits assigned to symbolic variables.

研究动机与目标

• 探究 Transformer 架构是否能够有效学习在字符级别理解与评估数学表达式。
• 评估标准 Transformer、通用 Transformer 和自适应通用 Transformer 在符号数学推理任务中的性能。
• 评估模型在可变长度小数上的泛化能力，并处理正负数值。
• 分析错误模式，评估模型在错误推理情况下的鲁棒性。

提出的方法

• 模型将数学表达式及其目标值视为字符级别的序列转换任务。
• 编码器和解码器完全基于多头自注意力机制和前馈网络构建，不使用循环或卷积结构。
• 训练了三种变体：标准 Transformer、带循环的通用 Transformer，以及带自适应计算时间的自适应通用 Transformer。
• 模型在包含赋值变量和对应计算结果的符号数学表达式数据集上进行训练。
• 训练使用交叉熵损失，以最小化预测序列与目标序列之间的差异。
• 评估聚焦于精确匹配准确率及错误预测的字符级别错误分析。

实验结果

研究问题

• RQ1 标准 Transformer 是否能够以高准确率学习评估符号数学表达式？
• RQ2 在通用 Transformer 中引入循环结构是否能提升其在数学推理任务中的性能？
• RQ3 自适应通用 Transformer 中的自适应计算时间在多大程度上提升了模型的准确率与效率？
• RQ4 预测中的错误模式与真实标签相比如何？这揭示了模型的泛化能力如何？

主要发现

• 自适应通用 Transformer 在评估数学表达式时达到了最高的测试准确率 84.9%。
• 通用 Transformer 表现优于标准 Transformer，准确率达到 78.8%，表明循环结构带来了优势。
• 标准 Transformer 达到了 76.1% 的准确率，表明非循环注意力机制也能处理符号数学任务。
• 对于错误预测的表达式，模型输出与真实标签仅相差一到两个字符，表明错误模式具有高度精确性。
• 模型成功学习了对正负小数进行加法、减法和乘法运算，且适用于不同位数长度的数值。
• 结果表明，当自注意力机制被适当地构建为序列转换任务时，其在符号数学推理中具有有效性。