[논문 리뷰] AI Chatbots as Multi-Role Pedagogical Agents: Transforming Engagement in CS Education

Chen Cao, Zijian Ding외 2명|arXiv (Cornell University)|2023. 08. 08.

Online Learning and Analytics인용 수 6

한 줄 요약

이 연구는 컴퓨터 과학 교육에서 다중 역할 AI 채팅봇 시스템을 도입하여 GPT-3를 활용해 지도자, 동료, 진로 상담사, 정서적 지원자 등 각기 다른 교육적 역할을 부여함으로써 참여도와 학습을 향상시키는 것을 목표로 한다. 결과적으로 LLM이 생성한 응답은 정확하고 유창하며 공감 능력이 있으며 관련성이 높으며, 특히 고차원적 사고 질문에서 뛰어난 성능을 보이며 개인 맞춤형이고 확장 가능한 학습 지원의 강력한 잠재력을 입증한다.

ABSTRACT

This study investigates the use of Artificial Intelligence (AI)-powered, multi-role chatbots as a means to enhance learning experiences and foster engagement in computer science education. Leveraging a design-based research approach, we develop, implement, and evaluate a novel learning environment enriched with four distinct chatbot roles: Instructor Bot, Peer Bot, Career Advising Bot, and Emotional Supporter Bot. These roles, designed around the tenets of Self-Determination Theory, cater to the three innate psychological needs of learners - competence, autonomy, and relatedness. Additionally, the system embraces an inquiry-based learning paradigm, encouraging students to ask questions, seek solutions, and explore their curiosities. We test this system in a higher education context over a period of one month with 200 participating students, comparing outcomes with conditions involving a human tutor and a single chatbot. Our research utilizes a mixed-methods approach, encompassing quantitative measures such as chat log sequence analysis, and qualitative methods including surveys and focus group interviews. By integrating cutting-edge Natural Language Processing techniques such as topic modelling and sentiment analysis, we offer an in-depth understanding of the system's impact on learner engagement, motivation, and inquiry-based learning. This study, through its rigorous design and innovative approach, provides significant insights into the potential of AI-empowered, multi-role chatbots in reshaping the landscape of computer science education and fostering an engaging, supportive, and motivating learning environment.

연구 동기 및 목표

• AI 기반 개입을 통해 컴퓨터 과학 교육에서 낮은 참여도와 높은 학생 대 교사 비율 문제를 해결한다.
• 추상적인 내용과 개인 맞춤형 피드백 부족으로 인해 발생하는 탐구 기반 학습의 장벽을 극복한다.
• 자기결정성 이론에 부합하는 다중 역할 채팅봇 시스템을 설계하고 평가하여 능력감, 자율성, 유대감의 욕구를 충족시킨다.
• 채팅봇의 역할 배정 및 상호작용 품질을 최적화하여 컴퓨터 과학 과정에서의 동기부여, 이해도 향상 및 지속성 향상을 도모한다.
• 교육자, AI 개발자, 정책 입안자들이 고등교육 분야에서 책임감 있는 AI 통합을 위한 실질적인 통찰을 제공한다.

제안 방법

• 실제 컴퓨터 과학 수업 환경에서 반복적 프로토타이핑, 구현, 평가 및 개선을 반복하는 디자인 기반 연구(DBR) 접근법을 사용한다.
• 전체 스택 시스템을 구현하여 지도자 봇(학술 지도), 동료 봇(협동 학습), 진로 상담 봇(전문적 관련성), 정서적 지원 봇(정서적 회복력) 등 네 가지 전문화된 채팅봇을 운영한다.
• 학생의 질문 유형과 복잡도에 따라 채팅봇 매니저를 통해 최적의 역할 할당을 보장한다.
• 상호작용 로그와 설문 조사 데이터를 분석하기 위해 토픽 모델링, 정서 분석, 순서 분석 등의 자연어 처리(NLP) 기법을 적용한다.
• 200명의 대학원생을 대상으로 인간 튜터, 단일 채팅봇, 다중 역할 채팅봇의 세 가지 조건을 비교하는 ABC 실험 설계를 시행한다.
• 정확도, 유창성, 공감 능력, 참여도, 관련성의 다섯 차원으로 구성된 평가 척도를 개발하여 전문가 선별, 기준값 검증 및 자동 분석을 통해 LLM 생성 응답의 품질을 평가한다.

Figure 1: System architecture design of 4 distinct bots.

실험 결과

연구 질문

• RQ1 다중 역할 채팅봇의 사용이 학생의 질문 수와 품질에 어떤 영향을 미치는가?
• RQ2 다중 역할 채팅봇은 학생의 학습 경험, 참여도 및 동기부여에 어떤 영향을 미치는가?
• RQ3 학생들은 채팅봇의 개별 및 종합적 역할을 어떻게 인식하는가?
• RQ4 채팅봇의 역할 전문화가 다양한 인지 수준의 질문에 대해 응답 품질에 어떤 영향을 미치는가?
• RQ5 정서 상태와 상호작용 패턴은 학생의 참여도와 정서 상태와 어떻게 관련이 있는가?

주요 결과

• 대규모 언어 모델(LLM)이 생성한 응답은 정확도와 유창성이 매우 높았으며, 학생의 질문이 고차원적 사고 수준일수록 성능 향상이 뚜렷했다.
• 연구자 코드 분석과 정서 분석을 통해 채팅봇은 복잡한 고차원적 사고 질문에 대해 특히 뛰어난 공감 능력과 참여도를 보였다.
• 의미적 유사도 및 키워드 동시출현 분석을 통해 응답이 원래 질문과 높은 관련성과 일관성을 유지함을 확인했다.
• 다중 역할 채팅봇 시스템은 다양한 학생의 요구를 효과적으로 지원하였으며, 채팅봇 매니저가 질문을 가장 적절한 에이전트에게 정확히 라우팅하는 데 성공했다.
• 학생들은 정서적 지원 봇과 진로 상담 봇을 통해 동기부여 향상과 지원을 느꼈으며, 이는 지속적인 참여도 향상에 기여했다.
• 다섯 차원 평가 척도는 응답 품질의 미세한 측면을 효과적으로 포착하여 교육 현장에서 LLM 성능을 신뢰성 있게 평가하는 데 기여했다.

Figure 2: Site map of DS Mind Palace gamification learning system.