[论文解读] Automatic Short Math Answer Grading via In-context Meta-learning

Mengxue Zhang, Sami Baral+2 more|arXiv (Cornell University)|May 30, 2022

Online Learning and Analytics被引用 12

一句话总结

该论文提出了一种新颖的少样本元学习框架，用于使用微调后的MathBERT在数学教育中实现自动短答案评分。通过在推理过程中将评分示例作为上下文，该模型在未见过的问题上实现了卓越的泛化能力，显著优于先前的方法——尤其是在未训练过的新问题上——同时避免了针对每个问题的模型微调，并充分利用了领域特定的语言理解能力。

ABSTRACT

Automatic short answer grading is an important research direction in the exploration of how to use artificial intelligence(AI)-based tools to improve education. Current state-of-the-art approaches use neural language models to create vectorized representations of students' responses, followed by classifiers to predict the score. However, these approaches have several key limitations, including i) they use pre-trained language models that are not well-adapted to educational subject domains and/or student-generated text and ii) they al-most always train one model per question, ignoring the link-age across questions and resulting in a significant model storage problem due to the size of advanced language models. In this paper, we study the problem of automatic short answer grad-ing for students' responses to math questions and propose a novel framework for this task. First, we use MathBERT, a variant of the popular language model BERT adapted to mathematical content, as our base model and fine-tune it on the downstream task of student response grading. Second, we use an in-context learning approach that provides scoring examples as input to the language model to provide additional context information and promote generalization to previously unseen questions. We evaluate our framework on a real-world dataset of student responses to open-ended math questions and show that our framework (sometimes significantly) outperforms existing approaches, especially for new questions that are not seen during training.

研究动机与目标

• 解决现有自动短答案评分（ASAG）系统依赖于问题特定模型以及通用语言模型在数学内容上表现不佳的局限性。
• 通过利用共享模型参数在所有问题上实现少样本上下文学习，提升对未见过的数学问题的泛化能力。
• 通过使用在数学文本和表达式上预训练的BERT变体MathBERT，更好地捕捉学生答案中的符号和语言成分，从而增强对学生回答的表征能力。
• 通过训练单一共享模型而非每个问题一个模型，减少模型存储和管理开销，实现在教育平台中的可扩展部署。

提出的方法

• 在真实世界的学生数学问题回答数据集上微调MathBERT，这是一种基于BERT的语言模型，已在数学内容上进行过预训练。
• 设计一种结构化输入格式，包含问题、学生回答以及多个带标签的示例回答及其得分，作为上下文示范。
• 通过元学习原理，在推理阶段使用少量示例实现模型对新问题的快速适应，从而实现少样本上下文学习。
• 采用共享的多任务学习设置，使同一模型处理所有问题，上下文示例提供任务特定的指导。
• 优化输入提示设计，包含问题类型、技能要求和正确答案结构等相关信息，以提升模型与人工评分标准的一致性。
• 利用模型的注意力机制，评估上下文示例在预测新回答得分时的相关性。

实验结果

研究问题

• RQ1 一个经过上下文学习微调的单一共享模型，是否能在不针对每个问题进行微调的情况下，有效泛化到全新的未见过的数学问题？
• RQ2 与标准BERT相比，使用MathBERT作为基础模型是否能提升数学特定短答案评分的准确性？
• RQ3 使用示例回答进行上下文学习如何影响模型性能，特别是在罕见或未见过的问题类型上？
• RQ4 该框架在处理数值错误、拼写变体或改写回答时的主要失败模式是什么？
• RQ5 该框架是否能减少对每个问题单独训练模型的需求，同时保持或提升评分准确性？

主要发现

• 所提出的上下文元学习框架显著优于现有最先进方法，尤其在未见过的问题上表现突出，展现出强大的泛化能力。
• 尽管使用了专为数学内容设计的MathBERT作为基础模型，初始设置中其性能反而劣于标准BERT，表明将MathBERT适配到特定评分任务仍存在挑战。
• 上下文学习组件——即在输入中提供带得分的示例回答——是性能提升的关键驱动因素，使模型能够有效泛化到多样化的问题。
• 模型在处理数值推理错误（如错误的运算符或数字顺序颠倒，例如“15*5=3”）时表现不佳，常因标记级别的相似性而高估此类回答。
• 关键术语（如“equals”）的拼写错误会导致不合理的扣分，即使人类评分者仍能理解其数学含义。
• 包含非必要短语（如“I think that it is”）的改写回答因引入噪声而被错误分类，表明模型对语言变化敏感，而非对语义内容敏感。