[논문 리뷰] Leveraging Large Language Model and Story-Based Gamification in Intelligent Tutoring System to Scaffold Introductory Programming Courses: A Design-Based Research Study

Chen Cao|arXiv (Cornell University)|2023. 02. 25.

Online Learning and Analytics인용 수 7

한 줄 요약

이 연구는 중국 유학생들을 대상으로 한 소개 프로그래밍 수업에서의 소속감 향상과 학습 지원을 목적으로, GPT-3 기반의 스토리 기반 게임화 지능형 튜터링 시스템(ITS)을 설계하고 평가한다. 이 시스템은 개인화된 피드백을 제공하고 참여도를 높이며 불안을 감소시키기 위해 내러티브 기반 AI 에이전트를 활용한다. 시범 결과는 높은 사용성, 수용성 및 지원과 상호작용에 대한 긍정적인 사용자 인식을 보여주었다.

ABSTRACT

Programming skills are rapidly becoming essential for many educational paths and career opportunities. Yet, for many international students, the traditional approach to teaching introductory programming courses can be a significant challenge due to the complexities of the language, the lack of prior programming knowledge, and the language and cultural barriers. This study explores how large language models and gamification can scaffold coding learning and increase Chinese students sense of belonging in introductory programming courses. In this project, a gamification intelligent tutoring system was developed to adapt to Chinese international students learning needs and provides scaffolding to support their success in introductory computer programming courses.

연구 동기 및 목표

• 언어, 문화, 기초 지식 격차로 인해 영국의 소개 프로그래밍 수업에서 중국 유학생들이 느끼는 낮은 소속감과 높은 불안 문제를 해결한다.
• AI 강화 게임화 기법이 개인화되고 적응적인 피드백을 제공함으로써 학습을 지원하고 정서적·인지적 참여를 촉진할 수 있는지 조사한다.
• 내러티브 요소와 역할 기반 AI 에이전트를 통합하여 지원적이고 상호작용적인 학습 환경을 시뮬레이션하는 지능형 튜터링 시스템을 설계한다.
• 실제 교육 현장에서 시스템의 사용성, 수용성, 학습 성과 향상 및 소속감 향상에 대한 효과를 평가한다.

제안 방법

• 세 가지 GPT-3 기반 AI 에이전트(샤먼드, 워터슨, 인스펙터 레스트레이드, 메리스 호즈)를 포함한 스토리 기반 ITS를 개발하였다.
• 코드 설명 모듈을 구현하여, 코드 스니펫과 자연어 프롬프트를 사용해 GPT-3 API를 호출함으로써 맞춤형 피드백을 생성한다.
• CS1 과정 목표와 강사의 반성 기반으로 프롬프트 프로그래밍을 활용해 360라운드의 학생-선생님 상호작용을 시뮬레이션하였다.
• 사용성, 수용성, 시스템의 인지된 효과성을 평가하기 위해 이해관계자(학생, 강사, 연구자) 대상 시범 사용자 연구를 수행하였다.
• AI가 생성한 응답의 품질과 톤을 평가하기 위해 의미 유사도, 토픽 모델링, 정서 분석을 적용하였다.
• 장기적 분석을 위해 실시간 코드 제출, 피드백, 채팅 기록 로깅을 지원하는 인터페이스를 설계하였다.

실험 결과

연구 질문

• RQ1 GPT-3 기반의 스토리 기반 게임화 지능형 튜터링 시스템은 중국 유학생들의 소개 프로그래밍 수업에서의 소속감에 어떤 영향을 미치는가?
• RQ2 GPT-3는 블룸의_taxonomy 수준에 따라 개인화되고 적응적인 피드백을 얼마나 잘 제공할 수 있는가?
• RQ3 사용자들은 내러티브 기반 AI 에이전트가 제공하는 사용성, 수용성, 정서적 지원에 대해 어떻게 평가하는가?
• RQ4 프롬프트의 품질이 교육적 코드 맥락에서 GPT-3의 응답 정확도와 깊이에 어떤 영향을 미치는가?
• RQ5 게임화된 AI 에이전트는 소개 프로그래밍 수업에서 탐구 기반 학습과 컴퓨팅 사고력을 효과적으로 촉진할 수 있는가?

주요 결과

• 초기 결과는 GPT-3 기반 게임화가 개인화되고 내러티브 기반의 상호작용을 통해 학생들의 불안을 크게 감소시키고 소속감을 증진시킨다는 것을 시사한다.
• AI 에이전트는 기억, 이해, 분석 수준의 인지 도메인에서 잘 정의된 질문에 대해 뛰어난 성능을 보이며 피드백을 생성하고 유의미한 대화를 유지하였다.
• 사용자들은 높은 만족도와 정서적·학문적 지원을 느꼈으며, 특히 AI 에이전트가 제공한 정서적 지원에 놀라움과 감사를 표시했다.
• 시범 연구에서 시스템은 사용성과 수용성 측면에서 높은 평가를 받았으며, 특히 셔록 홈즈 스토리라인과 같은 내러티브 요소들이 몰입감 있고 동기부여적인 것으로 평가되었다.
• 정서 분석 결과, AI가 생성한 응답은 일관되게 긍정적인 정서적 톤을 유지하여 효과적인 정서적 지원 제공가능성을 보여주었다.
• GPT-3의 응답 품질은 입력 질문의 명확성과 구조에 매우 의존적이었으며, 잘 구성된 프롬프트는 더 정확하고 상세한 설명을 유도하는 것으로 확인되었다.