[논문 리뷰] Deep Reinforcement Learning for Adaptive Learning Systems

Xiao Li, Hanchen Xu외 2명|arXiv (Cornell University)|2020. 04. 17.

Reinforcement Learning in Robotics참고 문헌 46인용 수 4

한 줄 요약

이 논문은 연속적인 잠재 특성 상태를 갖는 마르코프 결정 과정(MDP)으로 적응형 학습을 공식화하고, 제한된 데이터로부터 최적의 개인화된 학습 정책을 학습하기 위해 신경망 기반 전이 모델 추정기로 강화된 모델 자유형 딥 Q러닝(Deep Q-learning) 알고리즘을 제안한다. 이 방법은 표본 효율성을 크게 향상시켜, 200명의 학습자만으로도 효과적인 정책 학습이 가능하게 한다.

ABSTRACT

In this paper, we formulate the adaptive learning problem---the problem of how to find an individualized learning plan (called policy) that chooses the most appropriate learning materials based on learner's latent traits---faced in adaptive learning systems as a Markov decision process (MDP). We assume latent traits to be continuous with an unknown transition model. We apply a model-free deep reinforcement learning algorithm---the deep Q-learning algorithm---that can effectively find the optimal learning policy from data on learners' learning process without knowing the actual transition model of the learners' continuous latent traits. To efficiently utilize available data, we also develop a transition model estimator that emulates the learner's learning process using neural networks. The transition model estimator can be used in the deep Q-learning algorithm so that it can more efficiently discover the optimal learning policy for a learner. Numerical simulation studies verify that the proposed algorithm is very efficient in finding a good learning policy, especially with the aid of a transition model estimator, it can find the optimal learning policy after training using a small number of learners.

연구 동기 및 목표

• 연속적인 잠재 특성을 갖는 적응형 시스템에서 최적의 개인화된 학습 정책을 학습하는 데 도전하는 데 목적을 두며.
• 모델 자유형 DRL의 저데이터 환경에서의 한계를 극복하기 위해 데이터 효율적인 전이 모델 추정기를 도입함으로써.
• 학습된 전이 모델에서 유도된 시뮬레이션된 트레이젝터리를 활용하여 딥 Q네트워크의 학습 표본 효율성을 향상시키기 위해.
• 제안된 방법이 목표 숙련 수준에 도달하기 위한 학습 단계 수를 최소화하는 데서 히وري스틱 및 무작위 정책보다 뛰어나다는 것을 입증하기 위해.
• 교사의 지도나 대규모 역사적 데이터셋이 필요 없이도 확장 가능하고 개인화된 학습을 가능하게 하기 위해.

제안 방법

• 연속적인 잠재 특성 상태와 학습 자료를 행동으로 하는 마르코프 결정 과정(MDP)으로 적응형 학습 문제를 공식화한다.
• 상태 전이 동역학의 사전 지식 없이도 최적의 정책을 학습하기 위해 모델 자유형 딥 Q러닝(DQN) 알고리즘을 적용한다.
• 역사적 데이터로부터 학습자 진행 상황을 시뮬레이션할 수 있도록 신경망 기반 전이 모델 추정기를 개발한다.
• 학습된 전이 모델 추정기를 활용해 시뮬레이션된 트레이젝터리(가상의 경로)를 생성함으로써, 데이터 증강을 통해 DQN 학습의 효율성을 높인다.
• 실제 상호작용 데이터와 전이 모델에서 유도된 가상의 트레이젝터리를 모두 활용하여 DQN을 훈련함으로써 정책 일반화 및 표본 효율성을 향상시킨다.
• 측정 모델(예: IRT 기반)을 활용해 학습자 응답으로부터 연속적인 잠재 특성을 추정하고, 이를 상태 표현으로 구성한다.

실험 결과

연구 질문

• RQ1 딥 강화학습은 연속적인 잠재 특성을 갖는 적응형 시스템에서 최적의 학습 정책을 효과적으로 학습할 수 있는가?
• RQ2 학습된 전이 모델 추정기를 통합함으로써, DRL 기반 적응형 학습에서 표본 효율성이 어떻게 향상되는가?
• RQ3 제안된 방법이 히وري스틱 및 무작위 학습 정책에 비해 수렴 속도와 최종 성능 측면에서 어느 정도 뛰어나게 되는가?
• RQ4 실제 학습자의 수가 증가함에 따라 DQN 정책의 성능은 어떻게 변화하는가?
• RQ5 소수의 실제 학습자만 존재하는 상황에서도 전이 모델 추정기가 효과적인 정책 학습을 가능하게 할 수 있는가?

주요 결과

• 전이 모델 추정기를 포함한 제안된 방법은, 특히 200명 이하의 실제 학습자가 있을 경우 기준선 DQN보다 유의미하게 높은 평균 보상을 달성한다.
• 실제 학습자가 최대 200명 이하일 경우, 전이 모델을 사용해 훈련된 가상 DQN(Virtual DQN)이 실제 데이터만으로 훈련된 실제 DQN(Actual DQN)을 초월하여 더 뛰어난 표본 효율성을 보였다.
• 실제 학습자가 200명을 초과할 경우, 가상 DQN과 실제 DQN 정책 모두 유사한 최적의 성능 수준에 수렴한다.
• DQN 기반 정책은 항상 히وري스틱 및 무작위 전략보다 뛰어나며, 목표 숙련 수준에 도달하기 위한 학습 단계 수를 줄였다.
• 전이 모델 추정기는 학습자 진행 동역학을 효과적으로 포착하여 고품질의 시뮬레이션된 트레이젝터리를 생성함으로써 DQN 학습을 향상시켰다.
• 전이 모델 추정기의 통합은 소수의 학습자 데이터로만 훈련된 후에도 거의 최적에 가까운 학습 정책을 발견할 수 있도록 했다.