[论文解读] ELASTIC: Numerical Reasoning with Adaptive Symbolic Compiler

Jiaxin Zhang, Yashar Moshfeghi|arXiv (Cornell University)|Oct 18, 2022

Numerical Methods and Algorithms被引用 9

一句话总结

ELASTIC 是一种新颖的神经推理模型，通过符号编译器架构将操作符与操作数的生成解耦，从而在复杂数值推理任务中实现稳健表现。它在 FinQA 上实现了最先进的执行准确率（68.96）和程序准确率（65.21），在 MathQA 上达到 83.00 的准确率，展示了无需架构微调即可在不同领域实现优越泛化能力与可扩展性的能力。

ABSTRACT

Numerical reasoning over text is a challenging task of Artificial Intelligence (AI), requiring reading comprehension and numerical reasoning abilities. Previous approaches use numerical reasoning programs to represent the reasoning process. However, most works do not separate the generation of operators and operands, which are key components of a numerical reasoning program, thus limiting their ability to generate such programs for complicated tasks. In this paper, we introduce the numEricaL reASoning with adapTive symbolIc Compiler (ELASTIC) model, which is constituted of the RoBERTa as the Encoder and a Compiler with four modules: Reasoning Manager, Operator Generator, Operands Generator, and Memory Register. ELASTIC is robust when conducting complicated reasoning. Also, it is domain agnostic by supporting the expansion of diverse operators without caring about the number of operands it contains. Experiments show that ELASTIC achieves 68.96 and 65.21 of execution accuracy and program accuracy on the FinQA dataset and 83.00 program accuracy on the MathQA dataset, outperforming previous state-of-the-art models significantly.

研究动机与目标

• 为解决现有模型在处理长序列、多步骤程序的复杂数值推理任务时的局限性。
• 减少在顺序推理程序生成过程中操作符与操作数联合生成所导致的级联错误。
• 设计一种领域无关的模型，支持多样化的操作符和动态操作数数量，而无需重新训练。
• 通过引入内存寄存器，提升推理可扩展性，实现中间结果的重用。
• 评估模型在不同程序长度和推理复杂度下的鲁棒性。

提出的方法

• ELASTIC 使用 RoBERTa-large 作为编码器，从输入文本中提取上下文表征。
• 编译器模块由四个组件构成：推理管理器、操作符生成器、操作数生成器和内存寄存器。
• 操作符与操作数分别生成，最大限度减少长推理链中的错误传播。
• 内存寄存器用于存储并检索先前子程序的可执行结果，支持组合式推理。
• 模型以嵌套符号格式生成推理程序，确保语法正确性。
• 系统支持每个操作符的动态操作数数量，提升在不同领域中的可扩展性。

实验结果

研究问题

• RQ1 解耦操作符与操作数的生成对长而复杂的数值推理任务性能有何影响？
• RQ2 内存寄存器在多步骤推理问题上的性能提升程度如何？
• RQ3 在支持多样化操作符的前提下，该模型是否能在不重新训练的情况下实现跨领域泛化？
• RQ4 随着程序长度增加，模型性能如何退化？ELASTIC 是否能缓解级联错误？
• RQ5 程序结构与中间结果重用对推理准确率有何影响？

主要发现

• 在 FinQA 数据集上，ELASTIC 实现了 68.96 的执行准确率和 65.21 的程序准确率，优于先前的 SOTA 模型。
• 在 MathQA 数据集上，ELASTIC 达到 83.00 的程序准确率，展现出在具有挑战性的多步问题上的强劲性能。
• 与 FinQANet 相比，ELASTIC 在长程序上的性能下降显著更小，表明其级联错误影响更小。
• 即使在复杂程序中，模型仍保持较高的操作符生成准确率，表明操作数错误是失败的主要原因。
• ELASTIC 在仅使用 5.00 亿参数的情况下，优于参数量达 1370 亿的模型，表明其具有极高的参数效率。
• 消融实验确认了内存寄存器的必要性，其性能增益与最大内存偏离距离（M-MDD）高度相关。