[論文レビュー] Large Language Model-based System to Provide Immediate Feedback to Students in Flipped Classroom Preparation Learning

Shintaro Uchiyama, Kyoji Umemura+1 more|arXiv (Cornell University)|Jul 21, 2023

Online Learning and Analytics被引用数 8

ひとこと要約

この論文は、反転授業の準備中に学生へ即時で文脈に合わせたフィードバックを提供するためにChatGPTを活用するシステムを提示します。字幕を文脈の固定点として用い、正確性のための教員によるオーバーライドを取り入れています。

ABSTRACT

This paper proposes a system that uses large language models to provide immediate feedback to students in flipped classroom preparation learning. This study aimed to solve challenges in the flipped classroom model, such as ensuring that students are emotionally engaged and motivated to learn. Students often have questions about the content of lecture videos in the preparation of flipped classrooms, but it is difficult for teachers to answer them immediately. The proposed system was developed using the ChatGPT API on a video-watching support system for preparation learning that is being used in real practice. Answers from ChatGPT often do not align with the context of the student's question. Therefore, this paper also proposes a method to align the answer with the context. This paper also proposes a method to collect the teacher's answers to the students' questions and use them as additional guides for the students. This paper discusses the design and implementation of the proposed system.

研究の動機と目的

• 反転授業準備において即時フィードバックを通じて学生を動機づけ、関与を促す。
• カリキュラム文脈と汎用的なLLM応答の不一致を是正する。
• 学生の質問の文脈と指示を動画字幕を用いて固定化する。
• 教師がLLMの応答を監督・修正でき、スケーラビリティを維持する。
• 実際の教室運用での実用性と学習分析への影響を評価する。

提案手法

• 既存の動画視聴支援システム（Response Collector）を、LLMベースの自動応答機能で拡張する。
• ChatGPT APIを用いて学生の質問に対する暫定回答を非同期で生成する。
• 文脈を明確化しカリキュラムと整合させるため、 prompting に動画字幕を組み込む。
• 質問とChatGPTの返信を監視する教師ビューを提供し、手動でのオーバーライドを可能にする。
• 将来の対面授業準備のために、すべてのChatGPTの返信と教師の編集を記録する。
• LLM機能の有無にかかわらず基盤システムと互換性を保つ。

実験結果

リサーチクエスチョン

• RQ1 講義動画の字幕は、ChatGPTの回答をカリキュラムの文脈とより整合させることができるか。
• RQ2 LLMベースの自動応答を導入することで、準備学習における学生の不安を軽減し、即時フィードバックを高めることができるか。
• RQ3 教師の監督は自動応答の正確さを維持するうえでどのように補完的な役割を果たすか。
• RQ4 オンライン討議に参加が少ない学生（ lone wolf students ）に対して、即時フィードバックを提供することで理解を深めることができるか。

主な発見

• 本システムは大きな問題なく実際の教室実践に展開できる。
• 学生の質問に対してLLMからの即時フィードバックが提供され、焦燥感を軽減する可能性がある。
• 動画字幕はChatGPTの回答を動画カリキュラムの文脈と整合させるのに寄与する。
• 教師は教師ビューを通じてChatGPTの回答を確認・手動で修正できる。
• このアプローチは基盤システムを超えた学習分析のデータ収集を可能にする。