[논문 리뷰] Optimal Hierarchical Learning Path Design with Reinforcement Learning

Xiao Li, Hanchen Xu외 2명|arXiv (Cornell University)|2018. 10. 12.

Online Learning and Analytics인용 수 4

한 줄 요약

이 논문은 인지 진단 모델(CDMs)과 은닉 마르코프 모델(HMMs)을 사용하여 계층적 기술과 숙련 수준을 모델링함으로써, 전이 동역학에 대한 사전 지식이 없는 모델-프리 강화 학습 프레임워크를 제안한다. 이 방법은 전이 동역학에 대한 사전 지식 없이 최적의 학습 전략을 학습하며, 추정 오차가 있는 상황에서도 히우리스틱 방법보다 보상과 수렴 속도에서 뛰어나며, 성능이 뛰어나다.

ABSTRACT

E-learning systems are capable of providing more adaptive and efficient learning experiences for students than the traditional classroom setting. A key component of such systems is the learning strategy, the algorithm that designs the learning paths for students based on information such as the students' current progresses, their skills, learning materials, and etc. In this paper, we address the problem of finding the optimal learning strategy for an E-learning system. To this end, we first develop a model for students' hierarchical skills in the E-learning system. Based on the hierarchical skill model and the classical cognitive diagnosis model, we further develop a framework to model various proficiency levels of hierarchical skills. The optimal learning strategy on top of the hierarchical structure is found by applying a model-free reinforcement learning method, which does not require information on students' learning transition process. The effectiveness of the proposed framework is demonstrated via numerical experiments.

연구 동기 및 목표

• 기존 e-러닝 시스템에서 기술 계층과 숙련 수준 간의 통합 부족을 해결하기 위해.
• CDMs와 HMMs를 사용하여 기술 구조와 마스터리 수준을 명시적으로 표현하는 계층적 학습 모델을 개발하기 위해.
• 학생 전이 동역학에 대한 사전 지식이 필요 없는 모델-프리 강화 학습을 통해 최적의 학습 전략을 설계하기 위해.
• 추정 오차가 있는 현실적인 조건에서도 제안된 강화 학습 기반 전략과 히우리스틱 방법 간의 성능을 평가하기 위해.
• 다양한 초기 학습자 숙련 수준에서 강화 학습 방법의 강인성과 일반화 능력을 입증하기 위해.

제안 방법

• 기본 속성 계층 모델을 기반으로 계층적 기술 모델을 구축하여, 기술을 이진 속성으로 표현하고 숙련 수준을 반영한다.
• 학습 과정은 마르코프 결정 과정(MDP)으로 모델링되며, 학생 상태는 속성 프로파일로 정의되고 반응 데이터 기반 HMM을 통해 업데이트된다.
• 인지 진단 모델(CDMs)을 사용하여 학생의 숨겨진 속성 프로파일을 평가 항목에 대한 반응에서 추정한다.
• 기본 전이 커널에 대한 지식이 필요 없는 모델-프리 강화 학습 알고리즘을 적용하여 학습 자료 선택에 최적의 정책을 학습한다.
• 시스템은 반응 데이터를 사용하여 상태 추정치를 반복적으로 업데이트하고 데이터 기반 방식으로 학습 경로를 최적화한다.
• 프레임워크는 시뮬레이션된 에피소드를 사용하여 훈련되며, 누적 보상과 에피소드 길이를 통해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 어떻게 기술 계층과 숙련 수준을 효과적으로 e-러닝 시스템에 모델링하여 개인화된 학습을 지원할 수 있는가?
• RQ2 기본 전이 동역학에 대한 사전 지식이 없는 모델-프리 강화 학습 접근법이 최적의 학습 전략을 학습할 수 있는가?
• RQ3 강화 학습 기반 전략의 성능은 보상과 수렴 속도 측면에서 히우리스틱 전략과 비교해 어떻게 되는가?
• RQ4 학생 속성 프로파일링의 추정 오차가 있는 상황에서 강화 학습 기반 전략은 얼마나 강인한가?
• RQ5 다양한 초기 기술 프로파일을 가진 학습자 간에 학습된 전략은 일반화 가능한가?

주요 결과

• 모델-프리 강화 학습 방법은 추정 오차가 없을 경우 평균 보상 6.43을 달성하였으며, 이는 히우리스틱 방법의 평균 보상 3.99보다 유의미하게 높았다.
• 강화 학습 방법은 평균 에피소드 길이를 7.34로 줄였고, 히우리스틱 방법의 8.57보다 빠른 학습 진행을 나타냈다.
• 보상의 표준편차는 강화 학습 방법에서 3.61로 히우리스틱 방법의 5.34보다 낮아 더 일관된 성능을 보였다.
• 5%의 추정 오차가 있는 상황에서도 강화 학습 방법은 평균 보상 6.41을 유지하여 실제 측정 노이즈에 강인함을 입증했다.
• 모든 테스트된 초기 상태에서 200 에피소드 이내에 최적의 전략으로 수렴하여 다양한 학습자 프로파일에 빠르게 적응함을 보였다.
• 그림 9의 박스 플롯은 강화 학습 방법이 11개의 다양한 추정 오차 수준에서 항상 히우리스틱 방법을 뛰어넘는 것으로 확인했다.