[논문 리뷰] Reinforcement Learning for Education: Opportunities and Challenges

Adish Singla, Anna N. Rafferty외 2명|arXiv (Cornell University)|2021. 07. 15.

Reinforcement Learning in RoboticsComputer Science참고 문헌 38인용 수 17

한 줄 요약

이 논문은 2021년 EDM에서 열린 RL4ED 워크숍을 요약하며, 강화학습(RL)을 교육 분야에 적용하는 데 두 방향을 제안한다: RL을 활용해 테이칭 시스템을 향상시키는(RL→ED) 방향과 교육적 과제를 통해 RL 방법론을 발전시키는(ED→RL) 방향이다. 주요 기여는 지연 보상, 부분 관측 가능성, 공정성 등의 핵심 과제를 특정하고, 학생 모델링, 콘텐츠 생성, 교육 분야의 오프라인 RL과 같은 유망한 연구 분야를 조명한 것이다.

ABSTRACT

This survey article has grown out of the RL4ED workshop organized by the authors at the Educational Data Mining (EDM) 2021 conference. We organized this workshop as part of a community-building effort to bring together researchers and practitioners interested in the broad areas of reinforcement learning (RL) and education (ED). This article aims to provide an overview of the workshop activities and summarize the main research directions in the area of RL for ED.

연구 동기 및 목표

• 강화학습(RL)과 교육(ED)을 연결하기 위해 다학제적 협력을 촉진하기 위해.
• 부분 관측 가능성, 지연 보상, 공정성 문제와 같은 교육 환경에 적용할 때의 주요 과제를 특정하기 위해.
• 교육적 응용 분야가 오프라인 학습 및 강인한 정책 설계 분야에서 새로운 RL 방법론을 어떻게 유도할 수 있는지 탐색하기 위해.
• RL을 위한 툴킷, 데이터셋, 벤치마크의 개발을 촉진하기 위해.
• 학생 행동 모델링 및 개인화된 교육 콘텐츠 생성에 강화학습을 어떻게 활용할 수 있는지 향상시키기 위해.

제안 방법

• RL, 교육, 학습 과학 분야의 연구자들을 모아 EDM 2021에서 RL4ED 워크숍를 개최하였다.
• 연구자 참여를 넓히기 위해 원본 연구(연구 트랙)와 최근에 발표된 연구(Encore 트랙)의 두 유형의 논문을 공모하였다.
• 초청 강연과 패anel 토론을 통해 적응형 테이칭, 학생 모델링, 커리큘럼 설계 분야의 RL 응용을 탐구하였다.
• 기존의 온라인 배포 위험 없이도 역사적 학생 데이터를 활용하기 위해 문맥 기반 밴딧과 오프라인 RL을 적극적으로 활용하였다.
• 학습 과정을 시뮬레이션하고 가르침 정책을 평가하기 위해 학생을 RL 에이전트로 모델링하는 것을 제안하였다.
• 해결 가능성과 강건성을 향상시키기 위해 상징적 추론과 RL을 융합하는 방법을 탐색하였다.

실험 결과

연구 질문

• RQ1 최근의 강화학습(RL) 기술은 교육 분야의 적응형 테이칭과 지도 순서 설정에 어떻게 적용될 수 있는가?
• RQ2 부분 관측 가능성과 지연 피드백과 같은 교육 환경에서의 고유한 과제들은 표준 RL 방법의 직접적 적용을 어떻게 제한하는가?
• RQ3 강화학습은 프로그래밍이나 대수학과 같은 개방형 학습 분야에서 인간 학생의 행동을 어떻게 모델링할 수 있는가?
• RQ4 강화학습은 개인화된 연습 문제나 시험 문제 생성과 같은 교육 콘텐츠 생성을 어떻게 향상시킬 수 있는가?
• RQ5 오프라인 RL과 인과 추론 기법은 역사적 교육 데이터로부터 정책 학습을 향상시키기 위해 어떻게 활용될 수 있는가?

주요 결과

• 강화학습은 순차적이고 목표 지향적인 교육 상호작용, 특히 적응형 테이칭과 커리큘럼 설계 분야에 매우 적합하다.
• 학생을 RL 에이전트로 모델링하면 오개념 진단과 가르침 전략 평가가 더 잘 이루어질 수 있다.
• 오프라인 RL 방법론은 온라인 배포 위험 없이도 역사적 학생 데이터로부터 학습할 수 있다는 점에서 유망한 전망을 보인다.
• 교육적 응용 분야에서 해석 가능성과 강건성을 향상시키기 위해 상징적 추론과 RL을 융합하는 데에 대한 관심이 증가하고 있다.
• 문맥 기반 밴딧과 MAB 기반 접근법은 ASSISTments와 같은 플랫폼에서의 실질적 구현을 위해 적극적으로 탐색되고 있다.
• 교육적 형평성을 보장하기 위해 공정성 인식 알고리즘을 갖춘 강화학습 알고리즘이 필요하다는 것이 공동체에서 인정되고 있다.