[论文解读] Automatic Generation of Word Problems for Academic Education via Natural Language Processing (NLP)

Stanley Uros Keller|arXiv (Cornell University)|Sep 27, 2021

Intelligent Tutoring Systems and Adaptive Learning被引用 6

一句话总结

本文提出了一种模块化的NLP框架，用于自动生成多样、上下文丰富的数学统计应用题，确保其语法正确、语义连贯且内容有效。通过整合约束生成、冲突检测与一致性建模，该系统在保持生成速度与正确性之间可配置的权衡的同时，实现了高达86%的有效性（在简单问题上）。

ABSTRACT

Digital learning platforms enable students to learn on a flexible and individual schedule as well as providing instant feedback mechanisms. The field of STEM education requires students to solve numerous training exercises to grasp underlying concepts. It is apparent that there are restrictions in current online education in terms of exercise diversity and individuality. Many exercises show little variance in structure and content, hindering the adoption of abstraction capabilities by students. This thesis proposes an approach to generate diverse, context rich word problems. In addition to requiring the generated language to be grammatically correct, the nature of word problems implies additional constraints on the validity of contents. The proposed approach is proven to be effective in generating valid word problems for mathematical statistics. The experimental results present a tradeoff between generation time and exercise validity. The system can easily be parametrized to handle this tradeoff according to the requirements of specific use cases.

研究动机与目标

• 为解决在线STEM训练题中缺乏多样性和个体性的问题，以避免学生难以抽象出核心概念。
• 通过自动化生成有效、上下文丰富的应用题，突破人工验证题目的瓶颈。
• 确保生成的应用题满足严格的合法性约束：完整性、正确性、一致性和明确性。
• 通过生成具有不同构成结构的练习题，而非仅替换数字，来促进对概念的深层理解。
• 设计一个可扩展的模块化系统，支持人机协同与完全自动化两种练习题生成模式。

提出的方法

• 该系统采用模块化流水线：通过约束生成、冲突检测与一致性建模来确保内容有效性。
• 大型语言模型（LLMs）根据用户定义的练习题定义与提示生成应用题。
• 约束生成模块确保包含必要参数（如标准差）以满足完整性要求。
• 冲突检测模块使用基于规则与嵌入的方法检查数学不一致性（如负概率）。
• 通过句子级别嵌入相似度（余弦距离）与下一语句预测（NSP）得分来强制实现一致性。
• 系统允许对模块进行参数化配置，以在生成速度与有效性之间实现平衡，从而根据使用场景需求控制权衡。

实验结果

研究问题

• RQ1 模块化的NLP系统能否生成在数学统计领域中有效、连贯且多样的应用题？
• RQ2 与标准语言建模相比，约束生成与冲突检测的整合在多大程度上提升了内容有效性？
• RQ3 在生成速度与有效性之间存在何种权衡？这些权衡是否可通过系统配置进行控制？
• RQ4 该系统的模块化设计在多大程度上支持教育应用的可扩展性与可扩展性？
• RQ5 在为系统设计提示与配置的过程中，是否能增强学生的概念理解？

主要发现

• 当同时使用冲突检测与一致性建模（余弦距离 + NSP）时，系统在简单问题上的成功率达到86%，显著优于基线配置。
• 当结合冲突检测与一致性建模（余弦距离与NSP）时，有效性达到最高，简单问题成功率为86%，中等问题为74%，难题为76%。
• 若移除一致性建模，简单问题的成功率降至7%，表明一致性对有效性至关重要。
• 内容多样性通过内容熵（H）衡量，在所有配置中均保持较高水平（4.7–5.4），证实系统在满足有效性约束的同时仍能维持多样性。
• 消融实验表明，冲突检测与一致性建模对高有效性至关重要，当仅强制满足完整性时，成功率降至6%。
• 系统清晰地展示了生成时间与有效性之间的权衡：完整验证耗时更长，但生成的练习题正确率显著更高。