[논문 리뷰] Large Language Model-Driven Classroom Flipping: Empowering Student-Centric Peer Questioning with Flipped Interaction

Chee Wei Tan|arXiv (Cornell University)|2023. 11. 14.

AI in Service Interactions인용 수 7

한 줄 요약

이 논문은 하이브리드 및 원격 학습 환경에서 동료 질문 활동을 향상시키기 위해 LLM이 답변 대신 질문을 생성하는 '뒤집힌 상호작용'을 활용하는 LLM 기반 수업 뒤집기 프레임워크를 제안한다. 투표-프롬프트-퀴즈 및 퀴즈-프롬프트-토론 워크플로를 통해 프롬프트 엔지니어링, 클릭러 퀴즈, JiTT 루틴을 통합함으로써, 학생 중심의 자기조절 학습을 가능하게 하고, 강사가 실시간으로 수업을 개인화할 수 있도록 한다.

ABSTRACT

Reciprocal questioning is essential for effective teaching and learning, fostering active engagement and deeper understanding through collaborative interactions, especially in large classrooms. Can large language model (LLM), such as OpenAI's GPT (Generative Pre-trained Transformer) series, assist in this? This paper investigates a pedagogical approach of classroom flipping based on flipped interaction in LLMs. Flipped interaction involves using language models to prioritize generating questions instead of answers to prompts. We demonstrate how traditional classroom flipping techniques, including Peer Instruction and Just-in-Time Teaching (JiTT), can be enhanced through flipped interaction techniques, creating student-centric questions for hybrid teaching. In particular, we propose a workflow to integrate prompt engineering with clicker and JiTT quizzes by a poll-prompt-quiz routine and a quiz-prompt-discuss routine to empower students to self-regulate their learning capacity and enable teachers to swiftly personalize training pathways. We develop an LLM-driven chatbot software that digitizes various elements of classroom flipping and facilitates the assessment of students using these routines to deliver peer-generated questions. We have applied our LLM-driven chatbot software for teaching both undergraduate and graduate students from 2020 to 2022, effectively useful for bridging the gap between teachers and students in remote teaching during the COVID-19 pandemic years. In particular, LLM-driven classroom flipping can be particularly beneficial in large class settings to optimize teaching pace and enable engaging classroom experiences.

연구 동기 및 목표

• 코로나19 이후 대규모 하이브리드 또는 원격 수업에서 학생의 참여도와 강사의 반응성을 유지하는 데 도전하는 문제를 해결하기 위해.
• 학생 프롬프트에서 유의미한 질문을 생성함으로써 LLM을 활용해 평가 자료 제작에 소요되는 강사의 노고를 줄이기 위해.
• 뒤집힌 상호작용을 통해 LLM이 생성한 질문을 활용해 Just-in-Time Teaching (JiTT) 및 피어 인스트럭션을 지원함으로써 학생 중심의 질문 중심 수업을 실현하기 위해.
• 실시간 수업 조정이 가능한 AI 강화 워크플로우를 개발하여 LLM을 수업 상호작용 루틴과 통합함으로써 확장 가능하고 스케일러블한 시스템을 만들기 위해.
• 학생이 질문을 공동으로 생성하고 토론함으로써 자기조절 학습을 촉진하고 더 깊은 인지적 참여를 이끌어내기 위해.

제안 방법

• 학생 입력에서 교육적으로 유용한 질문을 유도하기 위해 프롬프트 엔지니어링을 활용한 '뒤집힌 상호작용' 기법을 적용함—즉, LLM이 답변 대신 질문을 생성하도록 유도함.
• 이중 워크플로우를 구현함: (1) 수업 전 참여를 위한 투표-프롬프트-퀴즈, (2) 수업 중 동료 토론 및 피드백을 위한 퀴즈-프롬프트-토론.
• OpenAI API를 사용해 퀴즈 생성, 질문 정제, 실시간 피드백 기능을 포함한 LLM 기반 챗봇을 설계함.
• LLM의 출력 결과를 기존 교육적 프레임워크와 일치시키기 위해 챗봇을 JiTT 및 피어 인스트럭션 모델과 통합함.
• 학습 목표와의 일치를 확보하고 질문의 질을 높이기 위해 난이도 보정(예: 5±1.8에서 8±0.5까지)을 적용함.
• 형성 평가 및 적응형 수업을 지원하기 위해 다양한 인지적 복잡도의 질문을 생성할 수 있도록 프롬프트 템플릿을 적용함.

Figure 1: An overview of classroom flipping based on large language models where a teacher blends Just-in-Time Teaching and Peer Instruction pedagogy together. This hybrid teaching fusion enables the inclusion of student-centered peer questioning through the utilization of prompt engineering in lang

실험 결과

연구 질문

• RQ1 LLM은 하이브리드 학습 환경에서 피어 인스트럭션과 JiTT를 지원할 수 있는 고품질의 학생 중심 질문을 효과적으로 생성할 수 있는가?
• RQ2 뒤집힌 상호작용(즉, LLM이 답변 대신 질문을 생성함)은 기존의 수업 뒤집기 교육법에 어떻게 통합되어 학생의 참여도를 향상시킬 수 있는가?
• RQ3 LLM 기반 챗봇은 평가 품질과 학습 성과를 유지하거나 향상시키면서도 강사의 작업 부담을 얼마나 줄일 수 있는가?
• RQ4 학생이 생성한 질문과 퀴즈 응답을 실시간으로 분석함으로써 LLM은 어떻게 수업 경로를 개인화할 수 있는가?
• RQ5 다양한 학습 환경에서 교육 평가에 LLM을 사용할 경우 공정성 확보, 편향 감소, 데이터 품질 유지에 있어 어떤 과제가 존재하는가?

주요 결과

• LLM 기반 챗봇은 학생 프롬프트에서 동료가 사용할 수 있는 질문을 생성함으로써 수업 뒤집기의 디지털화를 성공적으로 이룩하였으며, 강사의 콘텐츠 제작 노력이 크게 감소함.
• 투표-프롬프트-퀴즈 및 퀴즈-프롬프트-토론 워크플로우를 통해 실시간 수업 조정이 가능했으며, 난이도 범위가 5±1.8에서 8±0.5로 조정되어 효과적인 보정이 이루어졌음.
• LLM으로 보강된 학생이 생성한 질문은 하이브리드 및 원격 환경에서 자기조절 학습을 지원하고 동료 상호작용을 향상시켰음.
• 2020년부터 2022년까지 대학원 및 학부 과정에서의 적용을 통해 이 프레임워크는 확장성과 적응성을 입증하였으며, 특히 패닉 시기의 원격 수업 환경에서 두각을 나타냄.
• LLM 통합을 통해 강사가 집합된 학생 질문 패tern을 분석해 오해를 식별하고 수업 속도를 조정함으로써 즉시 교육(Just-in-Time Teaching)이 가능해짐.
• 초기 결과에 따르면 LLM 기반 챗봇은 자동 피드백과 동료 평가를 지원할 수 있으나, 보다 광범위한 평가 활용을 위해서는 추가 검증이 필요함.

Figure 2: Illustration of the workflow of the quiz-prompt-discuss routine and the poll-prompt-quiz routine to facilitate collaborative creation of multiple-choice questions by students through the flipped interaction of expansive language models and a mobile chatbot application (refer to Section IV