[论文解读] Data-Driven Methods for Solving Algebra Word Problems

Benjamin Robaidek, Rik Koncel-Kedziorski+1 more|arXiv (Cornell University)|Apr 28, 2018

Topic Modeling参考文献 19被引用 29

一句话总结

本文通过大规模数据集评估了基于数据驱动的方法求解代数应用题的效果，发现经过良好调优的神经方程分类器在性能上优于更复杂的模型（如序列到序列和自注意力网络）。尽管表现强劲，错误分析显示，语义知识和世界知识（如方向关系或现实世界约束）对于突破当前基于数据驱动方法的局限性至关重要。

ABSTRACT

We explore contemporary, data-driven techniques for solving math word problems over recent large-scale datasets. We show that well-tuned neural equation classifiers can outperform more sophisticated models such as sequence to sequence and self-attention across these datasets. Our error analysis indicates that, while fully data driven models show some promise, semantic and world knowledge is necessary for further advances.

研究动机与目标

• 评估基于数据驱动的模型（分类、检索和生成）在大规模代数应用题数据集上的有效性。
• 探究自注意力和预训练嵌入等先进神经技术是否能提升性能，超越简单但调优良好的模型。
• 通过错误分析识别纯粹基于数据驱动方法的局限性。
• 确定是否需要引入语义或世界知识，才能弥合当前模型与最优解准确率之间的性能差距。

提出的方法

• 模型被训练以将应用题文本映射到抽象方程模板，推理时再填入实际数值。
• 基于检索的模型使用应用题文本之间的Jaccard相似度和余弦相似度，寻找最接近的训练样本。
• 分类模型使用双向LSTM（BiLSTM）编码问题文本，并通过Softmax分类预测最可能的方程模板。
• 评估自注意力和结构化注意力机制作为对分类器模型的增强。
• 测试预训练的词嵌入和字符嵌入（如ELMo），以评估其对模型性能的影响。
• 在三个数据集（Math23K、Draw和中文数据集）上评估模型，准确率以黄金标准方程模板为基准。

实验结果

研究问题

• RQ1 在多个数据集上，不同基于数据驱动的模型（检索、分类和生成）在求解代数应用题方面的表现如何比较？
• RQ2 使用自注意力或预训练嵌入等先进神经技术是否能提升性能，超越简单但调优良好的分类器？
• RQ3 基于数据驱动的模型在多大程度上依赖训练数据的覆盖范围，这种依赖如何影响其性能上限？
• RQ4 基于数据驱动的模型会犯哪些类型的错误，这些错误是否可归因于语义或世界知识的缺失？
• RQ5 纯粹基于数据驱动的模型是否能在不引入外部语义或世界知识的情况下实现最优性能？

主要发现

• 经过良好调优的BiLSTM分类器在所有三个数据集上均持续优于更复杂的模型，如序列到序列和自注意力网络。
• 在英文数据集上，预训练词嵌入（如ELMo）并未提升性能，表明其在该任务中效用有限。
• 结构化自注意力并未带来显著优于良好调优的BiLSTM分类器的性能增益，表明架构复杂度的收益递减。
• 模型性能与最优准确率（oracle accuracy）之间的差距显著，表明仍有巨大提升空间。
• 错误分析揭示了两种主要的失败模式：语义限制（如误解整体-部分或比较关系）和世界知识缺失（如不了解“北”和“南”是相反方向）。
• 研究结论认为，语义和世界知识对于进一步推进至关重要，因为它们无法被端到端的数据驱动学习完全捕捉。