[论文解读] A Weakly Supervised Model for Solving Math word Problems.

Oishik Chatterjee, Aashish Waikar+3 more|arXiv (Cornell University)|Apr 14, 2021

Natural Language Processing Techniques参考文献 27被引用 4

一句话总结

本文提出一种弱监督模型，仅使用最终答案作为监督信号来解决数学应用题，无需昂贵的方程标注。通过训练序列到序列模型，从问题描述和答案中生成方程，该方法在Math23K数据集上实现了56.0%的准确率，展示了在无需完整方程级监督的情况下仍具备强大性能。

ABSTRACT

Solving math word problems (MWPs) is an important and challenging problem in natural language processing. Existing approaches to solve MWPs require full supervision in the form of intermediate equations. However, labeling every math word problem with its corresponding equations is a time-consuming and expensive task. In order to address this challenge of equation annotation, we propose a weakly supervised model for solving math word problems by requiring only the final answer as supervision. We approach this problem by first learning to generate the equation using the problem description and the final answer, which we then use to train a supervised MWP solver. We propose and compare various weakly supervised techniques to learn to generate equations directly from the problem description and answer. Through extensive experiment, we demonstrate that even without using equations for supervision, our approach achieves an accuracy of 56.0 on the standard Math23K dataset. We also curate and release a new dataset for MWPs in English consisting of 10227 instances suitable for training weakly supervised models.

研究动机与目标

• 解决标注数学应用题中间方程所带来的高昂成本与人力投入问题。
• 实现仅以最终答案作为监督信号来训练数学应用题求解器，从而减轻标注负担。
• 开发弱监督技术，直接从问题文本和答案中生成方程。
• 整理并发布一个包含10,227个实例的英文数学应用题新数据集，用于弱监督模型的训练。
• 证明在无需完整方程级监督的情况下，仍可实现高质量的数学应用题求解。

提出的方法

• 仅使用答案级监督，训练序列到序列模型，从问题描述和最终答案中生成方程。
• 应用多种弱监督学习技术，优化方程生成过程，且在训练期间不访问真实方程。
• 利用生成的方程训练一个监督式数学应用题求解器，实现仅从答案中端到端学习。
• 利用模型的方程生成能力，为下游数学应用题求解模拟监督信号。
• 结合答案对齐的训练目标与序列生成损失，对方程生成器进行微调。
• 发布一个包含10,227个英文数学应用题的新数据集，仅标注了答案，适用于弱监督训练。

实验结果

研究问题

• RQ1 模型能否仅以最终答案作为监督信号，学习生成数学应用题的准确方程？
• RQ2 不同弱监督技术在从问题文本和答案中生成方程方面的有效性如何？
• RQ3 在无方程标注的情况下，弱监督模型在标准数学应用题基准上的性能能达到何种程度？
• RQ4 一个经过整理的仅标注答案的数学应用题数据集能否有效支持弱监督数学应用题求解器的训练？
• RQ5 当仅以答案级监督进行训练时，最终数学应用题求解器的性能是否仍具竞争力？

主要发现

• 所提出的弱监督模型在标准Math23K基准上实现了56.0%的准确率，且未使用任何方程标注。
• 该模型成功学习从问题描述和最终答案中生成合理方程，从而实现高效的下游数学应用题求解。
• 多种弱监督技术在方程生成任务中均取得具有竞争力的结果，证明了仅使用答案监督的可行性。
• 已整理并发布一个包含10,227个英文数学应用题实例的数据集，仅标注了答案，供公众用于弱监督模型训练。
• 该方法显著降低了标注成本，同时保持了强劲性能，证明其在低资源数学应用题训练场景中的可行性。
• 结果表明，仅使用答案级监督即可获得功能完备的数学应用题求解器，挑战了必须使用完整方程级标注的必要性。