[论文解读] Large Language Model-Driven Classroom Flipping: Empowering Student-Centric Peer Questioning with Flipped Interaction

Chee Wei Tan|arXiv (Cornell University)|Nov 14, 2023

AI in Service Interactions被引用 7

一句话总结

本文提出了一种由大语言模型（LLM）驱动的课堂翻转框架，通过‘翻转互动’（即 LLM 生成问题而非答案）来增强混合式与远程学习中的同伴提问。通过将提示工程与点名投票测验及即时教学（JiTT）流程相结合，采用‘投票-提示-测验’与‘测验-提示-讨论’的工作流，该方法实现了以学生为中心的自主学习，并使教师能够实时个性化教学。

ABSTRACT

Reciprocal questioning is essential for effective teaching and learning, fostering active engagement and deeper understanding through collaborative interactions, especially in large classrooms. Can large language model (LLM), such as OpenAI's GPT (Generative Pre-trained Transformer) series, assist in this? This paper investigates a pedagogical approach of classroom flipping based on flipped interaction in LLMs. Flipped interaction involves using language models to prioritize generating questions instead of answers to prompts. We demonstrate how traditional classroom flipping techniques, including Peer Instruction and Just-in-Time Teaching (JiTT), can be enhanced through flipped interaction techniques, creating student-centric questions for hybrid teaching. In particular, we propose a workflow to integrate prompt engineering with clicker and JiTT quizzes by a poll-prompt-quiz routine and a quiz-prompt-discuss routine to empower students to self-regulate their learning capacity and enable teachers to swiftly personalize training pathways. We develop an LLM-driven chatbot software that digitizes various elements of classroom flipping and facilitates the assessment of students using these routines to deliver peer-generated questions. We have applied our LLM-driven chatbot software for teaching both undergraduate and graduate students from 2020 to 2022, effectively useful for bridging the gap between teachers and students in remote teaching during the COVID-19 pandemic years. In particular, LLM-driven classroom flipping can be particularly beneficial in large class settings to optimize teaching pace and enable engaging classroom experiences.

研究动机与目标

• 为解决后新冠疫情时代大规模混合式或远程课堂中保持学生参与度与教师响应能力的挑战。
• 通过利用 LLM 从学生提示中生成适合同伴使用的题目，减轻教师在创建测验内容方面的负担。
• 通过 AI 生成的学生中心型问题，结合翻转互动（LLM 生成问题而非答案），支持即时教学（JiTT）与同伴教学。
• 开发一种可扩展的、由人工智能增强的工作流，将 LLM 与课堂互动流程整合，实现实时教学调整。
• 通过让学生共同创建并讨论问题，促进自主学习，提升深层次认知参与。

提出的方法

• 采用‘翻转互动’技术——即通过提示工程引导 LLM 生成问题而非答案，从学生输入中提取具有教学价值的问题。
• 实施双流程工作流：(1) 投票-提示-测验，用于课前参与；(2) 测验-提示-讨论，用于课中同伴讨论与反馈。
• 设计一个由 LLM 驱动的聊天机器人，数字化实现课堂翻转的各个环节，包括测验生成、问题筛选与实时反馈，使用 OpenAI API 实现。
• 将聊天机器人与 JiTT 及同伴教学模型整合，确保 LLM 输出与既有的教学理论框架保持一致。
• 通过难度等级校准（例如 5±1.8 至 8±0.5）确保题目质量与学习目标一致。
• 应用提示模板，引导 LLM 生成具有不同认知复杂度的问题，支持形成性评估与自适应教学。

Figure 1: An overview of classroom flipping based on large language models where a teacher blends Just-in-Time Teaching and Peer Instruction pedagogy together. This hybrid teaching fusion enables the inclusion of student-centered peer questioning through the utilization of prompt engineering in lang

实验结果

研究问题

• RQ1 LLM 是否能有效生成高质量、以学生为中心的问题，以支持混合式学习环境中的同伴教学与 JiTT？
• RQ2 如何将翻转互动（LLM 生成问题而非答案）整合到现有的课堂翻转教学法中，以提升学生参与度？
• RQ3 LLM 驱动的聊天机器人在多大程度上可减少教师工作量，同时保持或提升测验质量与学习成效？
• RQ4 如何通过实时分析学生生成的问题与测验回答，利用 LLM 实现教学路径的个性化？
• RQ5 在多样化的学习情境中，使用 LLM 进行教育评估时，如何确保公平性、减少偏见并维持数据质量？

主要发现

• LLM 驱动的聊天机器人成功通过学生提示生成了适合同伴使用的题目，显著减少了教师在内容创建方面的工作量。
• ‘投票-提示-测验’与‘测验-提示-讨论’工作流实现了实时教学调整，难度范围为 5±1.8 至 8±0.5，表明校准有效。
• 经 LLM 增强的学生生成问题，支持了自主学习，并在混合式与远程环境中提升了同伴互动质量。
• 该框架在 2020 至 2022 年间于本科与研究生课程中均展现出可扩展性与适应性，尤其在疫情期间的远程教学中表现突出。
• LLM 集成使即时教学成为可能，教师可基于学生问题的聚合模式识别误解并调整教学节奏。
• 初步结果显示，LLM 驱动的聊天机器人可支持自动反馈与同伴评分，但其在更广泛评估场景中的有效性仍需进一步验证。

Figure 2: Illustration of the workflow of the quiz-prompt-discuss routine and the poll-prompt-quiz routine to facilitate collaborative creation of multiple-choice questions by students through the flipped interaction of expansive language models and a mobile chatbot application (refer to Section IV