[論文レビュー] A large language model-assisted education tool to provide feedback on open-ended responses

Jordan Matelsky, Felipe Parodi+3 more|arXiv (Cornell University)|Jul 25, 2023

Topic Modeling被引用数 11

ひとこと要約

本論文は FreeText を提示します。これは教員定義の基準に沿って guided されたオープンエンドの学生回答に対して迅速で個別化されたフィードバックを提供する LLM 支援ツールで、ウェブ/API および Jupyter ノートブックのウィジェットを備え、モデル非依存かつオープンソースです。

ABSTRACT

Open-ended questions are a favored tool among instructors for assessing student understanding and encouraging critical exploration of course material. Providing feedback for such responses is a time-consuming task that can lead to overwhelmed instructors and decreased feedback quality. Many instructors resort to simpler question formats, like multiple-choice questions, which provide immediate feedback but at the expense of personalized and insightful comments. Here, we present a tool that uses large language models (LLMs), guided by instructor-defined criteria, to automate responses to open-ended questions. Our tool delivers rapid personalized feedback, enabling students to quickly test their knowledge and identify areas for improvement. We provide open-source reference implementations both as a web application and as a Jupyter Notebook widget that can be used with instructional coding or math notebooks. With instructor guidance, LLMs hold promise to enhance student learning outcomes and elevate instructional methodologies.

研究の動機と目的

• オープンエンドの質問に対するフィードバックを自動化して、教員の作業量を削減する。
• 教員の基準と学習目標を維持したまま、迅速で個別化されたフィードバックを提供する。
• フィードバックループを通じて問題設計と採点基準の反復的改善を可能にする。
• Jupyter ノートブックや他の教育ワークフローにオープンエンド評価を統合する。
• サーバーレスまたはオンプレミス環境でデプロイ可能な、オープンソースかつモデル非依存のフレームワークを提供する。

提案手法

• ツールは大規模言語モデルを用いて、教員定義の基準に対して学生の回答を分析する。
• 仲介サーバーは保持された評価基準情報を LLM に公開し、評価者と学生の情報非対称を作り出す。
• Guidance ベースの LLM インターフェースと FastAPI JSON HTTP API を備えた Python ライブラリとして実装。
• ノートブックベースのコースへの容易な統合のための Jupyter Notebook ウィジェットを提供。
• サーバーレス展開（例: AWS Lambda）とクラウドデータベースをサポートし、オンプレミス実行や LLM バックエンドの切替オプションを備える。
• 2 種類のフィードバックを生成: 全体の回答に対する総合フィードバックと、特定の部分文字列に対するスパン限定フィードバック。

実験結果

リサーチクエスチョン

• RQ1 教員定義の基準を尊重しつつ、LLM はオープンエンドの学生回答に対して迅速で個別化されたフィードバックを提供できるか？
• RQ2 FreeText は人間の採点と比較して、フィードバックの適時性と品質をどうバランスさせるか？
• RQ3 システムは一般的な教育環境（ウェブインターフェイスと Jupyter ノートブック）と、モデル非依存でスケーラブルな方法で統合できるか？
• RQ4 本ツールのフィードバックループを用いて、問題設計と採点基準をどのように反復的に改善できるか？

主な発見

• FreeText はウェブまたはノートブックのインターフェイス経由で、数秒の遅延で学生にフィードバックを提供します。
• ツールは教員が指定した全体的なフィードバックとスパン限定フィードバックの両方をサポートします。
• FreeText はモデル非依存となるよう設計されており、ローカルにホストされたモデルやファインチューニング済みモデルに実装を置き換え、データの所在とプライバシーオプションを維持できます。
• サーバーとウィジェットのアーキテクチャは、サーバーレスまたはオンプレミス環境への容易なデプロイを可能にし、大規模クラスにもスケールできます。
• 教員は質問を設計し、質問と採点基準の整合性を改善する自動基準生成または精練を行うことができます。
• このフレームワークは、教員を置き換えることなく迅速なフィードバックを提供することで公平性を促進します。