[论文解读] Automated Evaluation for Student Argumentative Writing: A Survey

Xinyu Wang, Yohan Lee+1 more|arXiv (Cornell University)|May 9, 2022

Software Engineering Research被引用 8

一句话总结

本文综述了学生论证性写作的自动化评估，重点关注论证结构与强度等细粒度反馈。文章对现有任务、数据集与方法进行了系统组织，并建立了基于 BERT 的基线模型，展现出在不同提示下的强泛化能力，为未来个性化、可扩展的写作反馈系统研究奠定了基础。

ABSTRACT

This paper surveys and organizes research works in an under-studied area, which we call automated evaluation for student argumentative writing. Unlike traditional automated writing evaluation that focuses on holistic essay scoring, this field is more specific: it focuses on evaluating argumentative essays and offers specific feedback, including argumentation structures, argument strength trait score, etc. The focused and detailed evaluation is useful for helping students acquire important argumentation skill. In this paper we organize existing works around tasks, data and methods. We further experiment with BERT on representative datasets, aiming to provide up-to-date baselines for this field.

研究动机与目标

• 对自动化评估学生论证性写作的研究进行组织与分类，重点关注论证结构与特质特定反馈。
• 识别当前数据集在语言多样性及非熟练写作者代表方面的不足。
• 在基准数据集上为论证挖掘、组件检测与质量评估任务建立最新的基于 BERT 的基线模型。
• 探究 BERT 模型在不同写作提示间的泛化能力，以解决部署中的关键瓶颈问题。

提出的方法

• 本文对自动化论证性写作评估中的任务、数据集与方法进行了系统性综述，将其分类为论证挖掘（AM）、组件检测（CD）与质量评估（QA）。
• 在 S&G2014、S&G2017a 和 P&N2015 等代表性数据集上评估了原始 BERT 模型，使用均方误差（MSE）与平均绝对误差（MAE）等标准指标进行回归任务评估。
• 作者对 BERT 模型进行微调，以处理序列标注与回归任务，包括论证组件识别、分类与论证强度评分。
• 通过在相同数据集内多个提示间测试泛化能力，使用均方误差（MSE）与平均绝对误差（MAE）衡量性能。
• 研究使用了 S&G2014、S&G2017a、P&N2015 与 Carlile et al. (2018) 等公开数据集，其标注内容涵盖论证结构、主张、前提与批判检测。
• 本文将 BERT 性能与先前最先进方法进行比较，展示了在极少架构修改下仍具有竞争力的结果。

实验结果

研究问题

• RQ1 原始 BERT 模型在论证性写作评估任务中，对不同写作提示的泛化能力如何？
• RQ2 当前数据集在语言多样性与非母语写作者代表方面存在哪些关键局限？
• RQ3 基于 BERT 的模型能否作为论证挖掘与质量评分等论证性写作评估任务的强泛化基线？
• RQ4 模型性能在现有基准数据集的论证结构与特质评分任务中如何变化？
• RQ5 在自动化论证性写作评估领域，未来研究最具前景的方向是什么，特别是泛化能力与多语言支持方面？

主要发现

• 原始 BERT 模型在多个论证性写作评估任务中达到与先前最先进方法相当的性能，为未来研究建立了强有力的基线。
• BERT 模型在相同数据集的不同提示间表现出合理的泛化能力，仅在更抽象的提示（如提示 3 与 5）上出现轻微性能下降，表明对提示变化具有鲁棒性。
• 在抽象提示上性能下降的假设源于上下文线索减少，提示需更好地建模低上下文论证。
• 当前数据集主要为英文，缺乏对非母语或中等水平写作者的代表性，凸显了多样性与可及性方面的关键缺口。
• 在使用基于 Transformer 的模型方面，尤其是通过持续预训练或架构适配，仍存在巨大未开发潜力，可进一步提升性能与泛化能力。
• 跨提示的泛化仍是主要挑战，未来系统必须优先考虑此能力，以降低数据收集成本并支持可扩展的教育反馈。