[论文解读] Mapping to Declarative Knowledge for Word Problem Solving

Subhro Roy, Dan Roth|arXiv (Cornell University)|Dec 26, 2017

Topic Modeling参考文献 28被引用 6

一句话总结

该论文提出了一种知识增强型框架，通过将映射到陈述性数学规则的映射视为潜在变量，实现无需昂贵中间标注的可解释性、概念感知型解题生成。该方法在存在偏差的训练数据上表现出更强的泛化能力，通过陈述性规则学习稳健的抽象概念（如量纲分析和从属关系），优于现有系统。

ABSTRACT

Math word problems form a natural abstraction to a range of quantitative reasoning problems, such as understanding financial news, sports results, and casualties of war. Solving such problems requires the understanding of several mathematical concepts such as dimensional analysis, subset relationships, etc. In this paper, we develop declarative rules which govern the translation of natural language description of these concepts to math expressions. We then present a framework for incorporating such declarative knowledge into word problem solving. Our method learns to map arithmetic word problem text to math expressions, by learning to select the relevant declarative knowledge for each operation of the solution expression. This provides a way to handle multiple concepts in the same problem while, at the same time, support interpretability of the answer expression. Our method models the mapping to declarative knowledge as a latent variable, thus removing the need for expensive annotations. Experimental evaluation suggests that our domain knowledge based solver outperforms all other systems, and that it generalizes better in the realistic case where the training data it is exposed to is biased in a different way than the test data.

研究动机与目标

• 开发一种解决算术应用题的方法，整合陈述性数学知识以提升可解释性与鲁棒性。
• 通过学习能跨不同语言模式泛化的抽象概念，解决概念性偏差训练数据的挑战。
• 通过将规则选择建模为潜在变量，减少对昂贵中间推理步骤标注的依赖。
• 创建一个包含1,492道算术应用题的新数据集，以支持评估与训练，且偏差更小。
• 在单个问题中支持处理多种数学概念，如量纲分析、从属关系和单位兼容性。

提出的方法

• 该模型将每项运算所选陈述性规则视为潜在变量，从而无需标注中间推理步骤。
• 通过先预测相关数学概念（如量纲分析），再选择合适的陈述性规则，实现从自然语言描述到数学表达式的映射。
• 该框架整合了针对特定领域概念的陈述性规则，如上下位关系（从属关系）、单位兼容性及速率构成。
• 使用束搜索解码器，束大小为1,000，即使在较小束大小（如100）下性能也保持稳定。
• 共指与数字单位检测通过潜在对齐建模，降低对显式标注的依赖。
• 系统使用概率模型结合共指消解、上下位关系检测与基于单位的过滤，以提升准确性。

实验结果

研究问题

• RQ1 在数据存在偏差的情况下，知识增强方法是否能优于端到端学习模型，解决算术应用题？
• RQ2 在无需标注推理步骤的前提下，对陈述性规则选择进行潜在变量建模在多大程度上能提升可解释性？
• RQ3 当训练数据与测试数据在概念偏差上不同时，该模型在概念相似问题上的泛化能力如何？
• RQ4 基于规则的系统在检测无关数字与解析速率成分方面，是否能优于纯数据驱动模型？
• RQ5 在解题中引入量纲分析与从属关系等数学概念的陈述性规则，对解题准确率有何影响？

主要发现

• 所提出的方法（命名为'Knowledge'）在标准基准测试中优于所有现有系统，展现出在解决算术应用题方面的卓越准确率。
• 当在与训练数据语言偏差不同的数据上测试时，该模型的泛化能力显著优于先前系统。
• 即使束大小为100，该方法仍能实现稳健性能，表明高复杂度的束搜索并非获得强结果的必要条件。
• 26%的错误源于无关数字检测，凸显了在未绑定到单位的数值中识别无关数值的关键局限。
• 另有26%的错误源于速率成分解析（如“每栋房屋赚46美元”），表明在归一化速率表达式方面仍存在挑战。
• 共指错误占失败原因的22%，表明将代词或名词短语（如“队员”与“人”）关联起来仍具挑战。