[논문 리뷰] Large Language Model-based System to Provide Immediate Feedback to Students in Flipped Classroom Preparation Learning

Shintaro Uchiyama, Kyoji Umemura외 1명|arXiv (Cornell University)|2023. 07. 21.

Online Learning and Analytics인용 수 8

한 줄 요약

이 논문은 flipped-classroom 준비 과정에서 맥락에 맞춘 즉시 피드백을 학생들에게 제공하기 위해 ChatGPT를 활용하는 시스템을 제시하며, 맥락을 고정시키는 자막과 정확성을 위한 교사 재정의로 이를 보강한다.

ABSTRACT

This paper proposes a system that uses large language models to provide immediate feedback to students in flipped classroom preparation learning. This study aimed to solve challenges in the flipped classroom model, such as ensuring that students are emotionally engaged and motivated to learn. Students often have questions about the content of lecture videos in the preparation of flipped classrooms, but it is difficult for teachers to answer them immediately. The proposed system was developed using the ChatGPT API on a video-watching support system for preparation learning that is being used in real practice. Answers from ChatGPT often do not align with the context of the student's question. Therefore, this paper also proposes a method to align the answer with the context. This paper also proposes a method to collect the teacher's answers to the students' questions and use them as additional guides for the students. This paper discusses the design and implementation of the proposed system.

연구 동기 및 목표

• flipped classroom 준비를 통해 즉각적인 피드백으로 학생의 동기 부여 및 참여를 유도한다.
• 커리큘럼 맥락과 일반적인 LLM 응답 간의 불일치를 해결한다.
• 학생 질문의 맥락과 프롬프트를 고정시키기 위해 비디오 자막을 활용한다.
• 교사가 LLM 응답을 감독하고 수정할 수 있도록 하며, 확장성을 유지한다.
• 실제 교실 실습에서의 시스템 실용성과 학습 분석에 대한 영향을 평가한다.

제안 방법

• 기존의 비디오 시청 지원 시스템( Response Collector)을 LLM 기반 자동 응답 기능으로 확장한다.
• ChatGPT API를 사용하여 학생 질문에 대한 잠정 답변을 비동기적으로 생성한다.
• 프롬프트에 비디오 자막을 포함하여 맥락을 명확히 하고 커리큘럼과의 정합성을 높인다.
• 교사 뷰를 제공하여 질문과 ChatGPT 응답을 모니터링하고 수동 재정의를 허용한다.
• 모든 ChatGPT 응답과 교사 편집을 기록하여 대면 수업 준비를 위한 데이터로 활용한다.
• 기본 시스템과의 호환성을 유지하여 LLM 기능 유무에 관계없이 작동할 수 있게 한다.

실험 결과

연구 질문

• RQ1 강의 비디오의 자막이 ChatGPT의 응답을 커리큘럼 맥 context에 더 잘 맞추게 할 수 있는가?
• RQ2 LLM 기반 자동 응답의 통합이 준비 학습에서 학생의 불안을 줄이고 즉각적인 피드백을 증가시키는가?
• RQ3 교사 감독이 자동 응답의 정확성을 유지하는 데 어떻게 보완 역할을 하는가?
• RQ4 온라인 토론에 거의 참여하지 않는 학생(Lone Wolf 학생들)의 이해를 즉시 피드백을 제공함으로써 향상시킬 수 있는가?

주요 결과

• 시스템은 큰 문제 없이 실제 교실 실습에 배포될 수 있다.
• 학생 질문에 대해 LLM의 즉각적인 피드백이 제공되어 불안을 줄일 수 있다.
• 비디오 자막이 ChatGPT의 답변을 비디오 커리큘럼 맥 context과 정합시키는 데 도움을 준다.
• 교사는 교사 뷰를 통해 ChatGPT 응답을 검토하고 수동으로 조정할 수 있다.
• 이 접근 방식은 기본 시스템보다 학습 분석을 위한 더 많은 데이터를 수집하는 데 기여한다.