Skip to main content
QUICK REVIEW

[论文解读] LLMs Do Not Grade Essays Like Humans

Jerin George Mathew, Sumayya Taher|arXiv (Cornell University)|Mar 24, 2026
Topic ModelingComputer Science被引用 0
一句话总结

这项研究评估开箱即用的 GPT 与 Llama 模型在自动化作文评分中的表现,发现与人类评分者的一致性较弱,且倾向于给短文打高分、对含有轻微错误的较长文章打分偏低,尽管大语言模型的反馈与其得分一致。

ABSTRACT

Large language models have recently been proposed as tools for automated essay scoring, but their agreement with human grading remains unclear. In this work, we evaluate how LLM-generated scores compare with human grades and analyze the grading behavior of several models from the GPT and Llama families in an out-of-the-box setting, without task-specific training. Our results show that agreement between LLM and human scores remains relatively weak and varies with essay characteristics. In particular, compared to human raters, LLMs tend to assign higher scores to short or underdeveloped essays, while assigning lower scores to longer essays that contain minor grammatical or spelling errors. We also find that the scores generated by LLMs are generally consistent with the feedback they generate: essays receiving more praise tend to receive higher scores, while essays receiving more criticism tend to receive lower scores. These results suggest that LLM-generated scores and feedback follow coherent patterns but rely on signals that differ from those used by human raters, resulting in limited alignment with human grading practices. Nevertheless, our work shows that LLMs produce feedback that is consistent with their grading and that they can be reliably used in supporting essay scoring.

研究动机与目标

  • 由于班级规模上升和师资短缺,推动作文评估自动化。
  • 调查开箱即用的 LLM(GPT 与 Llama 系列)在评分作文方面与人类评定者的对比。
  • 分析 LLM 的评分行为与评分标准特征及生成的反馈之间的关系。
  • 检验 LLM 是否压缩评分区间,以及提示对与人类一致性的影响。)

提出的方法

  • 用作文题、评分标准和范文来提示模型,输出一个数值分数及其解释。
  • 从文本中提取作文级别特征(长度、可读性、语言错误等)。
  • 对模型生成的反馈进行情感分析与情感分类,量化对特质的赞扬与批评。
  • 计算 LLM 与人类打分之间的分数一致性指标(QWK、Pearson r、MAE)。
  • 分析分数差异如何与作文特征和反馈情感相关。
  • 在 ASAP Task 1、ASAP Task 7 与 DREsS 数据集之间进行比较,使用 GPT-3.5、GPT-4、GPT-5、Llama 2、Llama 3、和 Llama 4。

实验结果

研究问题

  • RQ1LLM 生成的分数是否在不同数据集和作文特征下与人类分数对齐?
  • RQ2LLM 的分数是否与其产生的反馈一致,即正向反馈信号是否与更高分数相关,负向信号是否与更低分数相关?
  • RQ3模型生成和提示变体如何影响与人工评定者的一致性?
  • RQ4相较于人类评分者,LLMs 是否对分数范围进行压缩?
  • RQ5模型驱动的评分模式是否因数据集(ASAP 与 DREsS)及评分量表特征而系统性地不同?

主要发现

  • LLMs 与人类评审的一致性显著低于人类之间的一致性(在所有模型和任务中,QWK 值均低于 0.30)。
  • 在 ASAP 上,人类评审之间的一致性为 QWK 0.72,而在 DREsS 数据集上,最佳 LLM 的 QWK 最高约为 0.34。
  • LLM 与人类之间的 MAE 在 ASAP 范围约为 0.16–0.57,在 DREsS 范围约为 0.17–0.24;同人类之间的 MAE 在 ASAP 约为 0.07–0.09。
  • GPT-3.5 的对齐性始终较弱,例如 ASAP Task 1 的 QWK 约 0.01;不同代模型之间没有呈现稳定的改进趋势。
  • LLMs 往往给简短或发展不足的作文打出更高的分数,而对较长且存在小错误的作文打分较低,显示评分区间被压缩。
  • LLMs 生成的反馈与分数相关:更积极的反馈往往伴随更高分数,而更消极的反馈则与较低分数相吻合。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。