[論文レビュー] AI-assisted Automated Short Answer Grading of Handwritten University Level Mathematics Exams

Tianyi Liu, Julia Chatain+4 more|arXiv (Cornell University)|Aug 21, 2024

Intelligent Tutoring Systems and Adaptive Learning被引用数 4

ひとこと要約

この論文は、GPT-4が大学レベルの数学試験における手書きの短答式回答を採点する効果性を評価しており、最小限のプロンプト工学で信頼性が高くコスト効率の良い初期採点を提供することを示している。手書きの数学的表現の認識に限界はあるが、GPT-4は意味的理解と同等性検出において優れた性能を示しており、信頼性の高い信頼度推定と改善されたOCRパイプラインを組み合わせることで、人間の採点者にとってのAIアシスタントとしての可能性を示唆している。

ABSTRACT

Effective and timely feedback in educational assessments is essential but labor-intensive, especially for complex tasks. Recent developments in automated feedback systems, ranging from deterministic response grading to the evaluation of semi-open and open-ended essays, have been facilitated by advances in machine learning. The emergence of pre-trained Large Language Models, such as GPT-4, offers promising new opportunities for efficiently processing diverse response types with minimal customization. This study evaluates the effectiveness of a pre-trained GPT-4 model in grading semi-open handwritten responses in a university-level mathematics exam. Our findings indicate that GPT-4 provides surprisingly reliable and cost-effective initial grading, subject to subsequent human verification. Future research should focus on refining grading rules and enhancing the extraction of handwritten responses to further leverage these technologies.

研究の動機と目的

• 事前学習済みの大規模言語モデル（GPT-4など）を用いて、大学レベルの数学試験における手書きの短答式回答を採点する可能性を評価すること。
• 同じ数学的概念であっても表現形や記法が異なる場合でも、GPT-4が数学的に同等の回答を識別する能力の信頼性と頑健性を調査すること。
• 確率論的根拠に基づくアプローチを用いて、GPT-4の採点意思決定の信頼度を推定する手法を開発・評価すること。
• 特に手書きの式表現認識と採点ルールの策定において、AIを高配点の学術的評価に統合する際の主な課題を同定すること。
• 人間が関与する検証を組み合わせることで、正確性を維持しながら人間の採点作業負荷を削減する実用的なAI支援採点パイプラインを提案すること。

提案手法

• 実際の大学試験の6つの短答式数学問題について、最小限のプロンプト工学を用いてGPT-4で学生の回答を採点した。
• 2段階のワークフローを採用した：まず、Mathpix APIを介してスキャンし、試験用紙全体をOCR処理し、次にLaTeXおよびPythonベースのパーサーを用いて回答欄を抽出した。
• GPT-4の採点意思決定の信頼度を推定するための確率論的アプローチを適用し、不確実または外れ値の予測を特定できるようにした。
• 標準化された採点基準を用いて、GPT-4の出力が人間採点の結果と一致するかを評価し、正答性と同等性検出に焦点を当てた。
• モデルの挙動と誤差分析に基づき、採点プロンプトとルールの反復的改善を実施した。
• 同じ数学的概念を異なる表現形で提示するプロンプトを用いて、モデルの表現形の変化に対する頑健性をテストした。

実験結果

リサーチクエスチョン

• RQ1 GPT-4は、最小限のプロンプトカスタマイズで、手書きの短答式数学的回答を信頼性高く採点できるか？
• RQ2 GPT-4の採点は、同じ数学的概念であっても表現形が異なる場合に、どの程度頑健か？
• RQ3 GPT-4の性能は、特に手書きの数学的表現に関して、OCRで変換された入力の品質にどの程度依存するか？
• RQ4 確率論的信頼度推定手法は、信頼性の低いまたは不確実なAI生成採点を効果的に特定できるか？
• RQ5 大学数学における高配点の、人間が関与する採点プロセスに大規模言語モデルを導入する際の主な課題は何か？

主な発見

• GPT-4は、著しい表記の違いが見られる場合でも、数学的に同等の解答を正しく識別するという高い信頼性を示した。
• プロンプトの文構造が変わらなくても、GPT-4は表現の言い換えに対して強い頑健性を示し、一貫した性能を維持した。
• GPT-4の性能は、手書きの数学的表現のOCRパイプラインの正確性に著しく依存しており、入力品質が深刻なボトルネックであることが判明した。
• 提案された確率論的信頼度推定手法は、有望な結果を示し、信頼性の低い採点意思決定を人間によるレビュー向けに特定する有効な道筋を示した。
• 微調整を行わずとも、GPT-4は5年前の専用モデルを上回る性能を示した。これは、汎用的大規模言語モデルが教育的評価分野における大きな可能性を秘めていることを示している。
• 本研究は、人間による検証を組み合わせることで、LLMが採点ワークフローにおいて効果的なAIアシスタントとして機能できることを確認した。正確性を維持しながら、人間の採点作業負荷を削減できる。