[論文レビュー] Towards LLM-based Autograding for Short Textual Answers

Johannes Schneider, Bernd Schenk+1 more|arXiv (Cornell University)|Sep 9, 2023

Artificial Intelligence in Healthcare and EducationMedicine被引用数 3

ひとこと要約

この論文は、複数の言語およびコースをカバーする短いテキスト回答の自動採点のために大規模言語モデル（LLMs）を評価し、LLMsが貴重な補足的視点を提供するが、信頼性やバイアスの懸念があるため、人間の監視なしには完全に自律的な採点にはまだ未だ到達していないことを示している。研究は、LLMsが教育者が採点プロトコルを検証するのを支援する可能性を浮き彫りにしている。

ABSTRACT

Grading exams is an important, labor-intensive, subjective, repetitive, and frequently challenging task. The feasibility of autograding textual responses has greatly increased thanks to the availability of large language models (LLMs) such as ChatGPT and the substantial influx of data brought about by digitalization. However, entrusting AI models with decision-making roles raises ethical considerations, mainly stemming from potential biases and issues related to generating false information. Thus, in this manuscript, we provide an evaluation of a large language model for the purpose of autograding, while also highlighting how LLMs can support educators in validating their grading procedures. Our evaluation is targeted towards automatic short textual answers grading (ASAG), spanning various languages and examinations from two distinct courses. Our findings suggest that while "out-of-the-box" LLMs provide a valuable tool to provide a complementary perspective, their readiness for independent automated grading remains a work in progress, necessitating human oversight.

研究の動機と目的

• 教育現場における短いテキスト的回答の採点のためのLLMsの実現可能性と信頼性を評価すること。
• 2つの異なる大学課程の教育的評価において、多様な言語と試験形式におけるLLMsのパフォーマンスを評価すること。
• LLMsが教育者が自らの採点意思決定を検証・監査するのをどのように支援できるかを検討すること。
• LLMsを自動採点に導入する際の主なリスク、特にバイアスと事実の捏造（ホールセイネーション）を同定すること。
• 適切な人間の監視を伴うLLMsの採点ワークフローへの統合に関する、根拠に基づいた推奨事項を提供すること。

提案手法

• 著者らは、複数の言語をカバーする2つの大学課程の短答回答に対して、事前に学習されたLLMを適用した。
• LLMからの一貫性があり、評価基準に整合した評価を引き出すために、プロンプト工学を用いて採点を実施した。
• LLMのスコアを人間採点の基準と比較し、正確性と一貫性を評価した。
• 評価には、人間スコアとの相関などの定量的指標と、LLMの推論に関する定性的分析を含めた。
• 研究は段階的なプロセスを用いた：プロンプト設計、LLM推論、スコア集約、人間採点のゴールドスタンダードとの比較。
• バイアスやホールセイネーションといった倫理的懸念は、LLMが生成するフィードバックの事例研究を通じて分析された。

実験結果

リサーチクエスチョン

• RQ1 LLMsは、短いテキスト的回答について、人間採点の基準とどの程度相関するスコアを生成できるか？
• RQ2 教育的評価において、LLMsのパフォーマンスは、異なる言語や教科分野でどのように変化するか？
• RQ3 LLMsは、教育者が自らの採点意思決定を検証または監査するのを、どのような形で支援できるか？
• RQ4 LLMsを自動採点に使用する際の主なリスク（バイアスやホールセイネーションなど）は何か？
• RQ5 LLMsは、人間の採点者を置き換えるのでなく、支援する形で採点ワークフローにどのように統合できるか？

主な発見

• LLMsは人間採点スコアと中程度から高い相関を示し、補助的採点ツールとしての可能性を示した。
• 言語によってパフォーマンスに顕著な差が認められ、英語以外およびリソースが少ない言語では正確性が低かった。
• LLMはしばしば信ぴょう性はあるが誤りであるフィードバックを生成する場合があり、ホールセイネーションとバイアスのリスクを示した。
• 誤りの是正と採点結果の公平性・一貫性を確保するには、常に人間の監視が必要であった。
• LLMsが教育者が自らの採点パターンの不整合を特定するのを支援する有用なフィードバックを提供した。
• 本研究では、「オール・ザ・ボックス」のLLMsは、ファインチューニングや厳密な検証を経ない限り、独立した自動採点にはまだ信頼できないことが判明した。