[논문 리뷰] Reinforcement Learning Tutor Better Supported Lower Performers in a Math Task

Sherry Ruan, Allen Nie외 10명|arXiv (Cornell University)|2023. 04. 11.

Online Learning and Analytics인용 수 4

한 줄 요약

이 연구는 초등 수학을 위한 내러티브 기반 AI 튜터를 개발하기 위해 딥 강화학습(DRL)을 적용하여 실시간으로 교수학습 지원을 최적화한다. 강화학습(ML) 에이전트는 개인화된 힌트를 제공함으로써 학습 성과를 크게 향상시켰으며, 특히 저성취 학생들에게서 두드러진 효과를 보였다. 결과는 다양한 학생 집단으로 일반화되었으며, 해석 가능한 인공지능(XAI) 기법을 통해 검증되었다.

ABSTRACT

Resource limitations make it hard to provide all students with one of the most effective educational interventions: personalized instruction. Reinforcement learning could be a key tool to reduce the development cost and improve the effectiveness of intelligent tutoring software that aims to provide the right support, at the right time, to a student. Here we illustrate that deep reinforcement learning can be used to provide adaptive pedagogical support to students learning about the concept of volume in a narrative storyline software. Using explainable artificial intelligence tools, we extracted interpretable insights about the pedagogical policy learned and demonstrated that the resulting policy had similar performance in a different student population. Most importantly, in both studies, the reinforcement-learning narrative system had the largest benefit for those students with the lowest initial pretest scores, suggesting the opportunity for AI to adapt and provide support for those most in need.

연구 동기 및 목표

• 강화학습이 내러티브 기반 수학 학습 환경에서 적응형 교수학습 지원을 자동으로 최적화할 수 있는지 조사하는 것.
• 강화학습으로 훈련된 튜터가 학생의 초기 지식 수준이 낮은 경우에도 학습 성과를 향상시키는지 평가하는 것.
• 해석 가능한 인공지능(XAI) 기법을 사용해 학습된 정책이 해석 가능하도록 보장하는 것.
• 다양한 사회경제적 배경과 지리적 배경을 가진 학생 집단 간에 강화학습 정책의 일반화 능력을 테스트하는 것.
• 강화학습 튜터의 효과가 작업 시간 증가 때문인지 실제 교수학습 효과성 때문인지 평가하는 것.

제안 방법

• 이전 연구의 오프라인 상호작용 데이터를 사용하여 딥 Q네트워크(DQN)를 훈련시켜 내러티브 기반 수학 튜터링 시스템에서 최적의 힌트 선택 정책을 학습했다.
• 상태 공간은 학생의 지식 추정치, 최근 성과 및 참여도 지표를 포함하였고, 행동 공간은 다양한 유형의 힌트와 피드백으로 구성되었다.
• 정책은 두 번째 연구에서 다른 학생 집단에 배포하기 위해 경량화된 모델로 정제되었다.
• 강화학습 정책의 해석과 의사결정 과정의 검증을 위해 주목도 맵과 민감도 분석 등의 해석 가능한 인공지능(XAI) 기법을 사용했다.
• 웹훅과 GraphQL 기반 백엔드를 통해 실시간 사용자 상호작용 데이터(퀴즈 응답 및 채팅 기록 포함)를 활용해 에이전트의 정책을 업데이트했다.
• A/B 테스트를 통해 두 개의 독립된 연구에서, 다양한 학생 코hort를 대상으로 강화학습 기반 내러티브 AI 튜터를 대조 조건(적응형 지원 없음)과 비교했다.

Figure 1: Tutoring AI Guide Interface : A child solves a math problem while interacting with the AI-driven tutoring guide. The child can click on the “helpful?” button if they consider the AI tutor’s response to be helpful. The child can also click on “I want to stop playing” to quit the activity at

실험 결과

연구 질문

• RQ1 강화학습이 내러티브 기반 수학 학습 환경에서 적응형이고 개인화된 교수학습 지원을 효과적으로 학습할 수 있는가?
• RQ2 강화학습 기반 튜터가 학생의 초기 지식 수준이 낮은 경우에도 학습 성과를 향상시키는가?
• RQ3 강화학습 정책이 다양한 인구 통계 및 사회경제적 배경을 가진 다른 학생 집단으로 성공적으로 이식되고 일반화되는가?
• RQ4 관찰된 성과 향상은 작업 시간 증가 때문인지 실제 교수학습 효과성 때문인가?
• RQ5 해석 가능한 인공지능 기법을 통해 강화학습 에이전트가 어떻게 교수학습 결정을 내리는지 의미 있는 통찰을 제공할 수 있는가?

주요 결과

• 사전 테스트 점수가 가장 낮은 학생들(0–2점)은 강화학습 기반 내러티브 AI 튜터를 사용할 경우 사후 테스트 성과에서 가장 큰 향상을 보였으며, 대조 조건 대비 22.5%의 상대적 향상률을 기록했다.
• 모든 사전 테스트 성과 그룹에서 강화학습 튜터는 대조 조건을 초월했지만, 특히 저성취 학생들에서 효과가 두드러져 AI 기반 교육의 형평성 잠재력을 보여주었다.
• 연구 1에서 유도된 정제된 정책은 연구 2의 더 광범위하게 다양화된 지리적·사회경제적 배경을 가진 학생 집단으로도 효과적으로 일반화되었으며, 유사한 성과 향상이 관찰되었다.
• 작업 시간은 조건 간 유의미한 차이가 없었으며, 이는 성과 향상이 참여 시간 증가 때문이 아니라 교수학습 품질 때문임을 시사한다.
• 해석 가능한 인공지능 기법을 통해 강화학습 정책이 힌트 선택 시 지식 상태와 최근 성과를 우선적으로 고려하는 것으로 밝혀졌으며, 이는 해석 가능하고 교육학적으로 타당한 행동을 보여주었다.
• 모든 사전 테스트 그룹에서 강화학습 조건에서 참여도 점수가 높았지만, 가장 뚜렷한 성과 향상은 가장 저성취 학생 그룹에서 관찰되어 시스템의 표적적 영향력을 뒷받침했다.

Figure 2: The interaction between user and RL AI guide. The RL AI guide selects one of four actions and replies to the user once a message is received. The reward function is updated both during the interaction and after the child completes the post-quiz. Rewards 1–4 correspond to the reward functio