[論文レビュー] Can an AI-tool grade assignments in an introductory physics course?

Gerd Kortemeyer|arXiv (Cornell University)|Apr 21, 2023

Educational Assessment and Pedagogy参考文献 24被引用数 4

ひとこと要約

本研究では、GPT-4を用いたAI支援ワークフローを活用し、手書きの物理学の問題解決過程の採点を検討する。OCR変換をシミュレートしてLaTeXに変換し、AIベースのフィードバックを提供する。GPT-4は妥当で形式的なフィードバックを提供するが、高配点の総合的評価には信頼性に欠けるため、主に初期スクリーニングや人間によるレビューの対象となる複雑な解法経路の特定に適している。

ABSTRACT

Problem solving is an integral part of any physics curriculum, and most physics instructors would likely agree that the associated learner competencies are best assessed by considering the solution path: not only the final solution matters, but also how the learner arrived there. Unfortunately, providing meaningful feedback on written derivations is much more labor and resource intensive than only grading the outcome: currently, the latter can be done by computer, while the former involves handwritten solutions that need to be graded by humans. This exploratory study proposes an AI-assisted workflow for grading written physics-problem solutions, and it evaluates the viability of the actual grading step using GPT-4. It is found that the AI-tool is capable of providing feedback that can be helpful in formative assessment scenarios, but that for summative scenarios, particularly those that are high-stakes, it should only be used for an initial round of grading that sorts and flags solution approaches.

研究の動機と目的

• GPT-4が手書きの物理学の問題解決過程に対して意味のあるフィードバックを提供できるかどうかを調査すること。
• 初歩的な物理学の授業において、OCRと大規模言語モデル（LLM）を統合したAI支援採点ワークフローの実現可能性を評価すること。
• AI採点が形式的評価と総合的評価の文脈においてそれぞれどの程度適しているかを特定すること。
• 現在のLLMが解法経路や導出過程を高信頼性で評価する際の限界を同定すること。

提案手法

• 本研究では、プロンプトの繰り返しを用いて生成された25件の固有の手書き風物理学の解答を、GPT-4が採点する。
• 実際のOCR処理はAPIアクセス制限のためテストされていないが、OCR処理後のLaTeXドキュメントとして解答をシミュレートした。
• 一貫性を評価し、フィードバックのばらつきを検出するために、複数回の独立した採点ラウンドを実施した。
• フィードバックは妥当性、包括性、および既存の問題解決の採点基準との整合性について分析した。
• スキャン、OCRからLaTeXへの変換、AIによる採点を統合したワークフローであり、特定されたケースについては人間による仲裁が可能である。
• 試験の整合性を保つために、オフラインで紙ベースの評価を想定したアプローチである。

実験結果

リサーチクエスチョン

• RQ1 GPT-4は、手書きの物理学の解答に対して、妥当かつ形式的評価に役立つフィードバックを提供できるか？
• RQ2 GPT-4の採点は、同じ解答に対して複数回の独立したラウンドで一貫性を示すか？
• RQ3 GPT-4のフィードバックは、物理学教育における既存の問題解決の採点基準とどの程度整合しているか？
• RQ4 GPT-4を用いた高配点の総合的評価は、初歩的な物理学の授業においてどの程度実現可能か？
• RQ5 AI採点は、非標準的または逸脱した解法経路を効果的に特定し、その後に人間によるレビューの対象として提示できるか？

主な発見

• GPT-4は物理学の解答に対して妥当な物語的フィードバックを生成し、形式的評価への応用の可能性を示した。
• AIのフィードバックは複数回の採点ラウンドにおいて一貫性に欠け、同じ解答に対する評価のばらつきが顕著に見られた。
• GPT-4は、従来のアプローチとは異なる非標準的または誤った解法経路を頻繁に検出できず、正しく評価できなかった。
• システムのフィードバックはしばしば妥当ではあるが、高配点の総合的評価に必要な信頼性に欠けていた。
• GPT-4は、複雑なまたは逸脱した解法経路を人間によるレビューの対象として特定する初期スクリーニングフェーズに最も適しているが、完全な総合的採点には向かない。
• 本研究は、GPT-4のような現在のLLMが、解法経路が評価の鍵を握る高配点の文脈では、人間の採点を代替するにはまだ信頼性に欠けると確認した。