[論文レビュー] Large Language Model-Driven Classroom Flipping: Empowering Student-Centric Peer Questioning with Flipped Interaction

Chee Wei Tan|arXiv (Cornell University)|Nov 14, 2023

AI in Service Interactions被引用数 7

ひとこと要約

本論文は、LLMが答えではなく質問を生成する「ひっくり返った相互作用」を活用することで、ハイブリッドおよびリモート学習環境における学習者同士の質問行動を強化する、LLM駆動の教室フラッピングフレームワークを提案する。プロンプト工学をクリックボタン式クイズとJiTTのルーチンと統合し、ポール・プロンプト・クイズおよびクイズ・プロンプト・ディスカッションのワークフローを用いることで、学習者中心で自己制御可能な学習を可能にするとともに、教員がリアルタイムで授業をパーソナライズできる。

ABSTRACT

Reciprocal questioning is essential for effective teaching and learning, fostering active engagement and deeper understanding through collaborative interactions, especially in large classrooms. Can large language model (LLM), such as OpenAI's GPT (Generative Pre-trained Transformer) series, assist in this? This paper investigates a pedagogical approach of classroom flipping based on flipped interaction in LLMs. Flipped interaction involves using language models to prioritize generating questions instead of answers to prompts. We demonstrate how traditional classroom flipping techniques, including Peer Instruction and Just-in-Time Teaching (JiTT), can be enhanced through flipped interaction techniques, creating student-centric questions for hybrid teaching. In particular, we propose a workflow to integrate prompt engineering with clicker and JiTT quizzes by a poll-prompt-quiz routine and a quiz-prompt-discuss routine to empower students to self-regulate their learning capacity and enable teachers to swiftly personalize training pathways. We develop an LLM-driven chatbot software that digitizes various elements of classroom flipping and facilitates the assessment of students using these routines to deliver peer-generated questions. We have applied our LLM-driven chatbot software for teaching both undergraduate and graduate students from 2020 to 2022, effectively useful for bridging the gap between teachers and students in remote teaching during the COVID-19 pandemic years. In particular, LLM-driven classroom flipping can be particularly beneficial in large class settings to optimize teaching pace and enable engaging classroom experiences.

研究の動機と目的

• 新型コロナウイルス感染拡大後における大規模なハイブリッド・リモート授業環境で、学習者の関与度と教員の対応性を維持する課題に対処すること。
• 学生のプロンプトから生成可能な質問をLLMを活用して作成することで、教員の評価コンテンツ作成負荷を軽減すること。
• JiTTおよびピアインストラクションを支援するため、逆転した相互作用（LLMが答えではなく質問を生成する）を用いた、学生中心の質問生成を促進すること。
• LLMと教室内相互作用のルーチンを統合したスケーラブルでAI補強型のワークフローを開発し、リアルタイムでの授業調整を可能にすること。
• 学生が質問を共同で作成・議論することで、認知的関与を深める自己制御学習を促進すること。

提案手法

• 教員が質問を生成するのではなく、学生の入力をもとに教育的価値のある質問を生成するようLLMにプロンプトを送る『ひっくり返った相互作用』を採用し、プロンプト工学を用いて効果的な質問を誘導する。
• 二重のワークフローを実装する：(1) 事前授業向けポール・プロンプト・クイズ、(2) 授業内でのピアディスカッションとフィードバック向けクイズ・プロンプト・ディスカッション。
• OpenAI APIを用いて、クイズ生成、質問の選別、リアルタイムフィードバックを実現するLLM駆動のチャットボットを設計する。
• チャットボットをJiTTおよびピアインストラクションモデルと統合し、LLMの出力を既存の教育的フレームワークと整合させる。
• 学習目標との整合性を保つために、難易度のキャリブレーション（例：5±1.8 ～ 8±0.5）を実施する。
• 認知的複雑性の異なる質問を生成できるプロンプトテンプレートを適用し、フォーマティブ評価と適応的授業を支援する。

Figure 1: An overview of classroom flipping based on large language models where a teacher blends Just-in-Time Teaching and Peer Instruction pedagogy together. This hybrid teaching fusion enables the inclusion of student-centered peer questioning through the utilization of prompt engineering in lang

実験結果

リサーチクエスチョン

• RQ1 LLMは、ハイブリッド学習環境においてピアインストラクションやJiTTを支援する高品質で学生中心の質問を効果的に生成できるか？
• RQ2 LLMが生成する質問（答えではなく）を用いた『ひっくり返った相互作用』は、既存の教室フラッピング教育法にどのように統合され、学習者の関与度を向上させられるか？
• RQ3 LLM駆動のチャットボットは、評価の質や学習成果を維持または向上させつつ、教員の負荷をどれほど軽減できるか？
• RQ4 学生が生成した質問とクイズの回答をリアルタイムで分析することで、LLMはどのように授業パスをパーソナライズできるか？
• RQ5 多様な学習環境において、教育的評価にLLMを用いる際の公平性の確保、バイアスの低減、データ品質の維持にどのような課題があるか？

主な発見

• LLM駆動のチャットボットは、学生のプロンプトからピアが使える質問を生成することで、教室フラッピングを効果的にデジタル化し、教員のコンテンツ作成負荷を軽減した。
• ポール・プロンプト・クイズおよびクイズ・プロンプト・ディスカッションのワークフローにより、リアルタイムでの授業調整が可能となり、難易度は5±1.8 ～ 8±0.5の範囲に収まっており、適切なキャリブレーションがなされていることが示された。
• LLMで強化された学生が生成した質問は、自己制御学習を支援し、ハイブリッドおよびリモート環境でのピア間相互作用を向上させた。
• 2020年から2022年までの大学院および学部課程の授業において、本フレームワークはスケーラビリティと適応性を示し、パンデミック期のリモート教育において特に有効であった。
• LLM統合により、教員が集計された学生の質問パターンをもとに誤解を特定し、授業の進行を調整できる「ジャスティンタイム・ティーチィング」が可能になった。
• 予備的な結果では、LLM駆動のチャットボットが自動フィードバックとピア評価を支援できる可能性があるが、広範な評価用途への適用にはさらなる検証が必要である。

Figure 2: Illustration of the workflow of the quiz-prompt-discuss routine and the poll-prompt-quiz routine to facilitate collaborative creation of multiple-choice questions by students through the flipped interaction of expansive language models and a mobile chatbot application (refer to Section IV