[論文レビュー] Performance of the Pre-Trained Large Language Model GPT-4 on Automated Short Answer Grading

Gerd Kortemeyer|arXiv (Cornell University)|Sep 17, 2023

Topic Modeling被引用数 5

ひとこと要約

本研究では、微調整を一切行わずに、SciEntsBankおよびBeetleデータセット上でGPT-4の自動短回答採点（ASAG）性能を評価する。GPT-4は過去の手作業で設計されたモデルと同等の性能を示すが、専用に訓練された大規模言語モデル（LLM）には及ばない。一方で、基準回答が与えられていない状態でも正しく採点できる強力なゼロショット能力を示している。

ABSTRACT

Automated Short Answer Grading (ASAG) has been an active area of machine-learning research for over a decade. It promises to let educators grade and give feedback on free-form responses in large-enrollment courses in spite of limited availability of human graders. Over the years, carefully trained models have achieved increasingly higher levels of performance. More recently, pre-trained Large Language Models (LLMs) emerged as a commodity, and an intriguing question is how a general-purpose tool without additional training compares to specialized models. We studied the performance of GPT-4 on the standard benchmark 2-way and 3-way datasets SciEntsBank and Beetle, where in addition to the standard task of grading the alignment of the student answer with a reference answer, we also investigated withholding the reference answer. We found that overall, the performance of the pre-trained general-purpose GPT-4 LLM is comparable to hand-engineered models, but worse than pre-trained LLMs that had specialized training.

研究の動機と目的

• 微調整を一切行わず、GPT-4のゼロショット性能を自動短回答採点（ASAG）タスクで評価すること。
• 標準ベンチマーク上で、GPT-4のASAG性能を専用に訓練されたタスク特化型モデルと比較すること。
• GPT-4が基準回答にアクセスしない状態でも、学生の回答を正確に採点できるかどうかを調査すること。
• 汎用的大規模言語モデル（LLM）を、大規模授業向けにスケーラブルで自動フィードバックを提供するコンmodityソリューションとしての実現可能性を評価すること。

提案手法

• GPT-4は、OpenAI APIを介して、SemEval-2013で定義された標準化された採点基準に従い、SciEntsBankおよびBeetleデータセットの学生回答を採点するようにプロンプトされた。
• プロンプト条件を2通り用いた：1つは基準回答を提示した場合、もう1つは提示しない場合。これにより、ゼロショット採点能力の評価が可能になった。
• 採点は、'ID'および'correctness'の2列を含む構造化されたCSVフォーマットで実施され、回答は'正しい'、'矛盾する'、'誤り'のいずれかに分類された。
• 性能評価には、2値分類および3値分類タスクの両方で、適合率（precision）、再現率（recall）、F1スコアが用いられた。
• 研究では、データセットの訓練データを破棄し、テストデータのみを用いた。計算コストのため、推論は1回のみ実行された。

実験結果

リサーチクエスチョン

• RQ1 GPT-4は、微調整なしで、専用に訓練されたタスク特化型モデルと比較して、ASAGタスクでどの程度の性能を示すか？
• RQ2 GPT-4は、基準回答にアクセスしないゼロショット環境でも、学生の回答を正確に採点できるか？
• RQ3 GPT-4の性能は、一般科学（SciEntsBank）や電気・電子工学（Beetle）といった異なる教育分野で異なるか？
• RQ4 GPT-4の性能は、過去10年間で登場した手作業で設計されたモデルやディープラーニングベースのASAGモデルと比較してどうか？

主な発見

• 基準回答が提供された状態で、2値分類のSciEntsBankデータセットではF1スコア0.73、3値分類のBeetleデータセットではF1スコア0.65を達成した。
• 2値分類のBeetleデータセットでは、基準回答なしでもF1スコア0.74を達成しており、強力なゼロショット能力を示している。
• GPT-4の性能は、過去の手作業で設計されたモデルと同等であったが、BERT や RoBERTa といった専用に微調整されたLLMには常に劣っていた。
• モデルはゼロショット採点においても頑健な性能を示し、特にSciEntsBankデータセットでは、基準回答が存在しない状態でも正しい回答と誤った回答を正しく識別できた。
• GPT-4は、Johnnyとwindowsのシナリオに関する特定の詳細を認識できなかったため、データセットにトレーニングされた痕跡がなく、データリークの兆候は見られなかった。