[论文解读] Annotating Derivations: A New Evaluation Strategy and Dataset for Algebra Word Problems

Shyam Upadhyay, Ming‐Wei Chang|arXiv (Cornell University)|Sep 23, 2016

Natural Language Processing Techniques参考文献 22被引用 7

一句话总结

本文提出基于推导的代数应用题求解器评估方法，引入一种新度量标准，可识别传统解法准确率与方程准确率所忽略的推理错误。该方法形式化定义了推导等价性，并提出实用的算法，同时发布超过2,300道题目的推导标注数据，证明推导准确率相较于现有度量标准更具精确性与可靠性。

ABSTRACT

We propose a new evaluation for automatic solvers for algebra word problems, which can identify mistakes that existing evaluations overlook. Our proposal is to evaluate such solvers using derivations, which reflect how an equation system was constructed from the word problem. To accomplish this, we develop an algorithm for checking the equivalence between two derivations, and show how derivation an- notations can be semi-automatically added to existing datasets. To make our experiments more comprehensive, we include the derivation annotation for DRAW-1K, a new dataset containing 1000 general algebra word problems. In our experiments, we found that the annotated derivations enable a more accurate evaluation of automatic solvers than previously used metrics. We release derivation annotations for over 2300 algebra word problems for future evaluations.

研究动机与目标

• 为解决现有评估度量标准——解法准确率与方程准确率——无法检测代数应用题求解器中推理错误的局限性。
• 提出推导准确率作为更精确的评估度量标准，以反映求解器如何从应用题构建方程组。
• 提出推导等价性的形式化定义与算法，以判断两个推导在语法形式不同情况下仍可视为等价。
• 通过半自动标注流程，为现有数据集（包括Draw-1k）进行推导标注，以支持未来具备高质量监督的基准测试。
• 发布超过2,300道带有推导标注的代数应用题，以支持自然语言处理与人工智能教育领域中更精确的评估与模型调试。

提出的方法

• 提出将推导定义为一对(T, A)，其中T为模板（未实例化的方程组），A为文本数字与系数的对齐方式。
• 基于模板结构与系数对齐方式，提出推导等价性的正式定义，支持对不同语法形式的推导进行比较。
• 开发一种算法，通过比较模板与对齐方式来判断两个推导是否等价，采用规范化与符号化简化技术。
• 应用半自动标注流程，结合基于规则的启发式方法与人工介入校正模糊情况。
• 利用该算法不仅评估求解器解法或方程组的正确性，还评估其推理路径（即推导）的正确性。
• 发布一个包含2,300道带有推导标注的代数应用题的数据集，包括Draw-1k的完整标注，以支持未来研究。

实验结果

研究问题

• RQ1 基于推导的评估能否检测出解法准确率与方程准确率所遗漏的推理错误？
• RQ2 如何在语法结构不同的情况下，形式化定义两个推导为等价？
• RQ3 与现有度量标准相比，使用推导准确率对代数应用题求解器的评估会产生何种影响？
• RQ4 能否通过半自动方法高效且准确地大规模生成推导标注？
• RQ5 基于推导的评估如何提升智能辅导系统中的模型调试与教育应用？

主要发现

• 推导准确率能识别出解法准确率与方程准确率所无法检测的关键推理错误，例如对文本数字的错误系数对齐。
• 所提出的推导等价性判断算法即使在推导语法形式不同时，也能正确识别其等价性，从而实现可靠的评估。
• 通过半自动流程对2,300道代数应用题（包括Draw-1k）进行推导标注是可行的，且人工干预极少。
• 实验结果表明，推导准确率相较于现有度量标准，能更准确、更可靠地评估求解器性能。
• 发布的带有推导标注的数据集，可支持更优的评估、模型调试，以及应用题求解器中相关性分类器的训练。