[論文レビュー] LLMs Do Not Grade Essays Like Humans
本研究は自動エッセイ採点のための出荷時GPTおよびLlamaモデルを評価し、人間の採点者との一致は弱く、短いエッセイを過大評価し長いエッセイを小さな誤りで過小評価する傾向がある一方、LLMのフィードバックはスコアと一致している、という傾向を示す。
Large language models have recently been proposed as tools for automated essay scoring, but their agreement with human grading remains unclear. In this work, we evaluate how LLM-generated scores compare with human grades and analyze the grading behavior of several models from the GPT and Llama families in an out-of-the-box setting, without task-specific training. Our results show that agreement between LLM and human scores remains relatively weak and varies with essay characteristics. In particular, compared to human raters, LLMs tend to assign higher scores to short or underdeveloped essays, while assigning lower scores to longer essays that contain minor grammatical or spelling errors. We also find that the scores generated by LLMs are generally consistent with the feedback they generate: essays receiving more praise tend to receive higher scores, while essays receiving more criticism tend to receive lower scores. These results suggest that LLM-generated scores and feedback follow coherent patterns but rely on signals that differ from those used by human raters, resulting in limited alignment with human grading practices. Nevertheless, our work shows that LLMs produce feedback that is consistent with their grading and that they can be reliably used in supporting essay scoring.
研究の動機と目的
- クラス規模の増大と教員不足によるエッセイ評価の自動化を動機づける。
- 出荷時のLLM(GPTおよびLlamaファミリー)がエッセイを採点する方法を、人間の評価者と比較して調査する。
- LLMの採点行動がルーブリック特性および生成フィードバックとどのように関連するかを分析する。
- LLMsが採点範囲を圧縮するかどうか、プロンプトが人間との一致に影響するかを検証する。
提案手法
- 各モデルにエッセイのプロンプト、ルーブリック、エッセイを提示して数値スコアと説明を生成させる。
- テキストからエッセイ全体の特徴(長さ、可読性、言語エラー)を抽出する。
- モデル生成フィードバックに対してABSAを実施し、特性別の賛辞・批判を定量化する。
- LLMと人間のスコア間の一致指標(QWK、Pearson r、MAE)を計算する。
- スコアの差がエッセイ特性とフィードバック感情とどう関連するかを分析する。
- GPT-3.5、GPT-4、GPT-5、Llama 2、Llama 3、Llama 4を用いて ASAP Task 1、ASAP Task 7、DREsS データセット間で比較する。
実験結果
リサーチクエスチョン
- RQ1LLM生成スコアはデータセットやエッセイ特性の違いにもかかわらず人間の成績と一致するか。
- RQ2LLMスコアは生成フィードバックと整合しているか、すなわち肯定的なフィードバック信号は高いスコアと相関し、否定的な信号は低いスコアと相関するか。
- RQ3モデル世代やプロンプト変種が人間の採点者との一致に影響を与えるか。
- RQ4LLMsはデータセット間で人間の採点者と比べて採点範囲を圧縮するか。
- RQ5データセット(ASAP vs. DREsS)およびルーブリック特性によって、モデル主導の採点パターンは体系的に異なるかどうか。
主な発見
- LLMsは人間の採点者との一致が人間同士の一致よりも大幅に低い(QWKはモデルとタスク全体で0.30未満)。
- ASAPでは人間のインターレータQWKは0.72、ベストなLLMsはDREsSで最大約0.34のQWKに達する。
- ASAPでのLLMと人間のMAEは約0.16〜0.57、DREsSでは約0.17〜0.24、ASAPにおける人間同士のMAEは約0.07〜0.09程度。
- GPT-3.5は一貫して整合性が低く、ASAP Task 1でのQWKは約0.01など、世代を超えて一貫した改善は見られない。
- LLMsは短いまたは未発展のエッセイに高いスコアを付け、長いエッセイの小さな誤りには低いスコアを付ける傾向があり、採点範囲の圧縮を示す。
- LLMsによって生成されたフィードバックはスコアと相関しており、より肯定的なフィードバックは高スコアと伴い、より否定的なフィードバックは低スコアと伴うことが多い。
この論文を読む
Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。
Nubintでこの論文を読むこのレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。