[论文解读] Mathematical Language Processing: Automatic Grading and Feedback for Open Response Mathematical Questions

Andrew Lan, Divyanshu Vats+2 more|arXiv (Cornell University)|Jan 18, 2015

Intelligent Tutoring Systems and Adaptive Learning参考文献 32被引用 15

一句话总结

本文提出了一种名为数学语言处理（Mathematical Language Processing, MLP）的数据驱动框架，用于在STEM教育中自动评分并提供开放作答数学题的反馈。通过将解题过程转化为数值特征，聚类以识别正确、部分正确和错误的解题模式，并结合教师提供的每类聚类的评分，MLP实现了可扩展、高准确度的评分，支持实时错误定位与部分分分配——在MOOC数据上的实证表明，该方法显著减少了人工评分的工作量。

ABSTRACT

While computer and communication technologies have provided effective means to scale up many aspects of education, the submission and grading of assessments such as homework assignments and tests remains a weak link. In this paper, we study the problem of automatically grading the kinds of open response mathematical questions that figure prominently in STEM (science, technology, engineering, and mathematics) courses. Our data-driven framework for mathematical language processing (MLP) leverages solution data from a large number of learners to evaluate the correctness of their solutions, assign partial-credit scores, and provide feedback to each learner on the likely locations of any errors. MLP takes inspiration from the success of natural language processing for text data and comprises three main steps. First, we convert each solution to an open response mathematical question into a series of numerical features. Second, we cluster the features from several solutions to uncover the structures of correct, partially correct, and incorrect solutions. We develop two different clustering approaches, one that leverages generic clustering algorithms and one based on Bayesian nonparametrics. Third, we automatically grade the remaining (potentially large number of) solutions based on their assigned cluster and one instructor-provided grade per cluster. As a bonus, we can track the cluster assignment of each step of a multistep solution and determine when it departs from a cluster of correct solutions, which enables us to indicate the likely locations of errors to learners. We test and validate MLP on real-world MOOC data to demonstrate how it can substantially reduce the human effort required in large-scale educational platforms.

研究动机与目标

• 为解决大规模STEM课程中开放作答数学题的人工评分可扩展性挑战。
• 开发一种自动化系统，实现部分分评分并提供错误位置的针对性反馈。
• 减少对同伴评分或二元选择题评估的依赖，以避免诊断信息受限。
• 利用学习者解题数据建模解题结构，实现对大规模学习者中常见误解的检测。
• 通过追踪多步骤问题中解题路径的聚类漂移，实现在解题输入过程中的实时反馈。

提出的方法

• 将每位学习者的解题过程转换为捕捉数学表达式、运算及结构的数值特征序列。
• 应用聚类算法——包括通用聚类与贝叶斯非参数聚类——基于特征相似性对解题进行分组，识别出正确、部分正确与错误的解题模式聚类。
• 通过每类聚类中教师提供的单一评分，推断该聚类内所有解题的预期得分，从而实现大规模自动评分。
• 在多步骤解题中追踪每一步的聚类分配，检测学习者何时偏离正确解题路径，实现实时错误定位。
• 利用概率模型估计解题错误的可能性，并预测预期得分。
• 通过突出显示聚类分配与正确解题聚类发生偏离的步骤，实现反馈生成。

实验结果

研究问题

• RQ1 是否可以设计一种数据驱动框架，在不依赖符号推理或形式化证明检查的前提下，自动为开放作答的数学解题分配部分分？
• RQ2 对解题特征进行聚类，如何揭示大规模学习者数据中常见的误解与解题结构？
• RQ3 通过在逐步解题输入过程中追踪与正确解题聚类的偏离，能在多大程度上实现实时反馈？
• RQ4 与标准聚类方法相比，贝叶斯非参数聚类在应对异常解题方面是否更具鲁棒性？
• RQ5 与传统或同伴评分系统相比，所提出的MLP框架在多大程度上减少了教师在评分中的介入需求？

主要发现

• MLP框架通过利用学习者解题数据实现评分与反馈的自动化，成功减少了大规模教育平台中的人工评分工作量。
• MLP-B变体通过检测每一步中聚类的偏离，实现了实时反馈生成，每次表达式输入后均更新错误概率与预期得分。
• 错误概率达0.93的解题被赋予3分中的2分预期得分，证明了部分分估计的准确性。
• 系统识别出同一道题存在多种正确的解题路径，例如三角恒等式化简问题，证实其能有效处理解题多样性。
• 聚类揭示了明显的错误模式，如导数运算中错误应用商法则，使教师能够识别常见误解。
• 该框架在真实MOOC数据上展现出良好的可扩展性与适应性，具备集成到edX等平台以实现更广泛应用的潜力。