[論文レビュー] Chatbots im Schulunterricht: Wir testen das Fobizz-Tool zur automatischen Bewertung von Hausaufgaben

Rainer Muehlhoff, Marte Henningsen|arXiv (Cornell University)|Dec 9, 2024

Linguistic Education and Pedagogy被引用数 4

ひとこと要約

本研究では、ドイツの学校における宿題評価の自動化を目的としたLLMベースのツール、FobizzのAI採点アシスタントを評価する。マーケティングでは客観的で時間短縮効果があるとされるが、実際には一貫性のない、しばしば意味をなさない点数とフィードバックを出力しており、入力がGPT生成のものである場合にのみ性能が向上する。これはLLMベースの教育自動化における根本的な欠陥を示している。

ABSTRACT

This study examines the AI-powered grading tool "AI Grading Assistant" by the German company Fobizz, designed to support teachers in evaluating and providing feedback on student assignments. Against the societal backdrop of an overburdened education system and rising expectations for artificial intelligence as a solution to these challenges, the investigation evaluates the tool's functional suitability through two test series. The results reveal significant shortcomings: The tool's numerical grades and qualitative feedback are often random and do not improve even when its suggestions are incorporated. The highest ratings are achievable only with texts generated by ChatGPT. False claims and nonsensical submissions frequently go undetected, while the implementation of some grading criteria is unreliable and opaque. Since these deficiencies stem from the inherent limitations of large language models (LLMs), fundamental improvements to this or similar tools are not immediately foreseeable. The study critiques the broader trend of adopting AI as a quick fix for systemic problems in education, concluding that Fobizz's marketing of the tool as an objective and time-saving solution is misleading and irresponsible. Finally, the study calls for systematic evaluation and subject-specific pedagogical scrutiny of the use of AI tools in educational contexts.

研究の動機と目的

• 中学校教育における自動宿題評価に向けたFobizzのAI採点アシスタントの機能的適合性を評価すること。
• このツールが、採点基準を一貫して適用し、意味のあるフィードバックを生成するかどうかを調査すること。
• LLMの制限が教育的文脈における自動評価の正確性と公平性に与える影響を検討すること。
• 教育的課題に対するAIを即効解決策として採用する傾向を批判すること。
• 教育機関における導入の前提として、体系的かつ教科別にAIツールを評価するよう呼びかけること。

提案手法

• 多様な生徒が自ら書いた課題とGPTが生成した課題を用いた、2つの制御されたテストを実施した。
• ツールの出力を事前に定義された採点基準と教育的基準と照らし合わせて評価した。
• 複数の提出物に対して、数値的評価と定性的フィードバックの整合性と一貫性を分析した。
• 人間が書いた生徒の提出物とAIが生成したテキストの結果を比較し、バイアスと信頼性を評価した。
• ツールの意思決定プロセスの透明性と解釈可能性を評価した。
• 誤った主張、論理的矛盾、基準の誤った適用といった繰り返し発生するエラーを同定した。

実験結果

リサーチクエスチョン

• RQ1 FobizzのAI採点アシスタントは、多様な生徒の提出物に対して、どれほど信頼性があり一貫性のある点数を出力するか？
• RQ2 このツールが生成する定性的フィードバックコメントは、どれほど正確で意味のあるものか？
• RQ3 このツールは、提出物に存在する誤りや意味をなさない内容を検出できるか、特にそうした内容が含まれている場合に？
• RQ4 人間が書いた提出物とAIが生成した提出物の間で、このツールの性能はどのように異なるか？
• RQ5 このツールの意思決定プロセスは、どの程度透明で、確立された教育的基準と整合しているか？

主な発見

• AI採点アシスタントは、しばしば一貫性がなく、ランダムで意味的に整合性のない点数とフィードバックを割り当てる。
• ツールの提案を反映させた後でも、採点の質が向上しないことから、根本的な欠陥が示唆される。
• 最高の点数は、入力がChatGPTによって生成された場合にのみ得られることから、AI生成テキストに対する根本的なバイアスがあると示唆される。
• このツールは、生徒の提出物に含まれる誤った主張や意味をなさない内容を検出できないため、学術的誠実性に関する懸念が生じる。
• 採点基準の適用は信頼性がなく、透明性に欠け、意思決定の根拠が明確に説明されていない。
• これらの欠陥は、大規模言語モデルの本質的制限に起因しており、即時の改善は困難である。