[논문 리뷰] RLTutor: Reinforcement Learning Based Adaptive Tutoring System by Modeling Virtual Student with Fewer Interactions

Yoshiki Kubotani, Yoshihiro Fukuhara외 1명|arXiv (Cornell University)|2021. 07. 31.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 23인용 수 7

한 줄 요약

이 논문은 강화학습 기반의 적응형 학습 지원 시스템인 RLTutor를 제안한다. 이 시스템은 정책 최적화 과정에서 실제 학생과의 상호작용을 줄이기 위해 가상의 학생을 모델링한다. 대규모 학습 데이터를 기반으로 사전 훈련한 수학적 학생 모델을 활용하고, 최소한의 실제 학생 피드백을 통해 미세조정함으로써 RLTutor는 기존 방법보다 높은 기억 유지율을 달성한다. 이는 이론적 최적화와 실세계 e-러닝 응용 간 실용적인 다리를 놓는 데 기여한다.

ABSTRACT

A major challenge in the field of education is providing review schedules that present learned items at appropriate intervals to each student so that memory is retained over time. In recent years, attempts have been made to formulate item reviews as sequential decision-making problems to realize adaptive instruction based on the knowledge state of students. It has been reported previously that reinforcement learning can help realize mathematical models of students learning strategies to maintain a high memory rate. However, optimization using reinforcement learning requires a large number of interactions, and thus it cannot be applied directly to actual students. In this study, we propose a framework for optimizing teaching strategies by constructing a virtual model of the student while minimizing the interaction with the actual teaching target. In addition, we conducted an experiment considering actual instructions using the mathematical model and confirmed that the model performance is comparable to that of conventional teaching methods. Our framework can directly substitute mathematical models used in experiments with human students, and our results can serve as a buffer between theoretical instructional optimization and practical applications in e-learning systems.

연구 동기 및 목표

• 강화학습 기반의 적응형 학습 지원 시스템에서 높은 상호작용 비용 문제를 해결하기 위해.
• 적응형 지도 과정의 정책 최적화를 위해 필요한 실제 학생 상호작용의 수를 줄이기 위해.
• 사전 훈련된 수학적 모델을 활용해 학생 행동을 모델링함으로써, RL 기반 학습 지원의 실용적 구현을 가능하게 하는 프레임워크를 개발하기 위해.
• 가상의 학생 모델을 사용한 실제 실험 환경에서 제안된 방법의 효과성을 평가하기 위해.
• 실세계 응용에서 성능에 영향을 미치는 현재 손실 함수와 모델 정밀도의 한계를 규명하기 위해.

제안 방법

• 대규모 학습 데이터를 기반으로 수학적 학생 모델(DAS3H)을 사전 훈련하여 현실적인 학생 지식 상태와 반응 패턴을 시뮬레이션한다.
• 사전 훈련된 모델을 가상 환경으로 활용해 강화학습 에이전트를 적응형 학습을 위해 훈련시키며, 실제 학생과의 직접적 상호작용을 최소화한다.
• 내부 모델의 손실 함수에 제약 조건을 도입하여 사전 학습된 가중치를 유지하고, 미세조정 과정에서 치명적인 기억 상실을 방지한다.
• 에이전트가 장기적 기억 유지율을 극대화하기 위해 항목을 선택하는 순차적 의사결정 문제로 학습 과제를 설정한다.
• 가상의 학생 모델로부터 피드백을 받아 정책 학습을 이끄는, 시간이 지남에 따라 항목의 재활용 비율을 기반으로 한 보상 함수를 적용한다.
• DAS3H 모델을 사용해 지식 상태를 추정하고 향후 성능을 예측함으로써, 데이터 효율적인 정책 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 학습자의 사전 훈련된 수학적 모델이 강화학습 기반 학습 지원 정책의 최적화를 위해 필요한 실제 상호작용의 수를 줄일 수 있는가?
• RQ2 제안된 RLTutor 프레임워크의 성능은 전통적인 히وري스틱 및 무작위 학습 방법에 비해 기억 유지율 측면에서 어떻게 비교되는가?
• RQ3 내부 모델의 손실 함수에 도입된 제약 조건이 정책 최적화 및 학생 성능에 어떤 영향을 미치는가?
• RQ4 수학적 모델에서는 잘 작동하는 ThresholdTutor가 제안된 실험 환경에서는 성능이 열 劣하는 이유는 무엇인가?
• RQ5 가상의 학생 모델과 실제 학생 간의 격차가 정책 최적화의 타당성에 어느 정도 영향을 미치는가?

주요 결과

• RLTutor는 RandomTutor와 ThresholdTutor보다 높은 기억 유지율을 달성하여, 가상의 학생 모델을 활용한 정책 최적화의 효과성을 입증한다.
• 제안된 방법은 특히 후속 세션에서 기존 방법보다 높은 평균 기억 유지율을 유지한다.
• ThresholdTutor는 반복 노출 후에도 기억 상실 경향이 있어, 중간 정도로 기억된 항목을 반복적으로 제시함으로써 성능이 열 劣했다.
• 긴 학습 기간과 적은 질문 수를 가진 실험 설정으로 인해 충분한 학습 시간이 확보되어, 모든 방법의 최종 성능가 비슷해진 것으로 보인다.
• 내부 모델의 손실 함수에 너무 강한 제약 조건이 적용되어 미세조정의 유연성이 떨어졌을 가능성이 있다.
• 결과는 손실 함수의 기능적 형태를 재고하여 모델 적응력과 성능을 향상시켜야 한다는 필요성을 강조한다.