[논문 리뷰] Combining Difficulty Ranking with Multi-Armed Bandits to Sequence Educational Content

Avi Segal, Yossi Ben David외 3명|arXiv (Cornell University)|2018. 04. 14.

Advanced Bandit Algorithms Research참고 문헌 12인용 수 11

한 줄 요약

이 논문은 개인화된 난이도 순위와 다수의 손잡이 랜드마크를 결합하여 학생 개개인의 요구에 맞게 교육적 문제를 동적으로 순서 매기는 새로운 알고리즘인 MAPLE을 소개한다. 과거 학생 성과를 기반으로 학습 성과를 추정하고, 탐색-이용 전략을 활용함으로써, 전문가가 구성한 순서 매기기 및 베이지안 지식 추적 기법과 비교해 시뮬레이션과 실제 교실 환경에서 둘 다 학습 성과와 학생 만족도를 크게 향상시켰다.

ABSTRACT

As e-learning systems become more prevalent, there is a growing need for them to accommodate individual differences between students. This paper addresses the problem of how to personalize educational content to students in order to maximize their learning gains over time. We present a new computational approach to this problem called MAPLE (Multi-Armed Bandits based Personalization for Learning Environments) that combines difficulty ranking with multi-armed bandits. Given a set of target questions MAPLE estimates the expected learning gains for each question and uses an exploration-exploitation strategy to choose the next question to pose to the student. It maintains a personalized ranking over the difficulties of question in the target set which is used in two ways: First, to obtain initial estimates over the learning gains for the set of questions. Second, to update the estimates over time based on the students responses. We show in simulations that MAPLE was able to improve students' learning gains compared to approaches that sequence questions in increasing level of difficulty, or rely on content experts. When implemented in a live e-learning system in the wild, MAPLE showed promising results. This work demonstrates the efficacy of using stochastic approaches to the sequencing problem when augmented with information about question difficulty.

연구 동기 및 목표

• 개인화된 교육 콘텐츠 순서 매김을 온라인 학습 시스템에서 개인 학생의 차이를 반영할 수 있도록 도전 과제를 해결하기 위해.
• 학생별 성과 데이터를 기반으로 도전과제와 마스터링을 균형 잡힌 방식으로 선택함으로써 학습 성과를 향상시키기 위해.
• 이전 학생 상호작용 데이터로부터 유도된 오프라인 난이도 순위를 온라인 다수의 손잡이 랜드마크 의사결정과 통합하여 실시간 적응을 가능하게 하기 위해.
• 난이도 추정과 밴딧 기반의 탐색-이용 전략을 융합함으로써 전문가가 구성한 순서 매기기 또는 순수 모델 기반 순서 매기기보다 더 나은 학습 결과를 얻을 수 있는지 평가하기 위해.
• 동적으로 순서가 매겨진 콘텐츠를 노출했을 때와 정적 또는 전문가가 순서를 정한 순서를 사용했을 때의 학생 만족도와 참여도를 평가하기 위해.

제안 방법

• MAPLE는 유사한 학생들의 집계된 성과 데이터로부터 유도된 개인화된 난이도 순위를 사용하여 각 학습자에 대한 문제 난이도의 기초 추정치를 형성한다.
• 알고리즘은 톰슨 샘플링을 활용한 다수의 손잡이 랜드마크 프레임워크를 사용하여 기대 학습 성과를 기반으로 탐색(낮은 확신도의 문제 시도)과 이용(높은 잠재력이 있는 문제 선택)을 균형 잡는다.
• 정답과 오답 응답을 다르게 처리하여 실패 후에 더 보수적으로(더 쉬운 문제를 선호) 행동함으로써 인지 부하를 줄이고 실망을 방지한다.
• 학생의 응답을 실시간으로 사용하여 난이도 순위를 업데이트함으로써 기술 수준의 변화에 적응하고 시간이 지남에 따라 문제 선택을 정교화할 수 있다.
• 초기 학습 성과 추정치는 난이도 순위에 의해 영향을 받으며, 이는 밴딧 모델의 사전 정보로 기능하여 수렴 속도를 높이고 초반 성능을 향상시킨다.
• 시스템은 개인 및 그룹 수준의 성과 패tern을 기반으로 변화하는 동적이고 개인화된 문제 순위를 유지한다.

실험 결과

연구 질문

• RQ1 오프라인 난이도 순위와 온라인 다수의 손잡이 랜드마크 최적화를 융합하면 전문가가 구성한 정적 순서 매기기보다 학습 성과를 향상시킬 수 있는가?
• RQ2 MAPLE의 적응형 순서 매기기 전략은 베이지안 지식 추적(BKT) 및 난이도 증가 순서에 비해 학습 결과 측면에서 어떻게 비교되는가?
• RQ3 밴딧 모델에 난이도 순위를 사전 정보로 통합함으로써 온라인 학습 과정의 수렴성과 성능 향상이 어떻게 향상되는가?
• RQ4 기본 순서 매기기 방법과 비교했을 때, MAPLE은 학생 만족도와 시스템 적응성에 얼마나 높은 수준의 향상을 보였는가?
• RQ5 약한 학생들(더 많은 맞춤형 간섭이 필요한 학생들)을 포함한 다양한 학생 능력 수준에서 알고리즘이 어떻게 성능을 발휘하는가?

주요 결과

• 실제 교실 실험에서 MAPLE을 사용한 학생들은 사전 테스트 평균 점수 71.28을 기록했으며, 이는 상승 순서(43.76)와 YBKT(67.08) 조건보다 유의미하게 높았다.
• MAPLE 학생들은 사후 테스트 성과에서 평균 4.99점의 향상을 보였고, 상승 순서 그룹은 2.83점 감소했으며, YBKT 그룹은 1.26점 증가했다.
• MAPLE 학생들은 평균적으로 문제당 10.69초를 소비하여 학습 성과를 희생시키지 않고도 효율적인 참여를 보였다.
• 학생 만족도는 MAPLE 조건에서 유의미하게 높았으며, 3점 척도에서 평균 동의 점수는 2.39였고, 상승 순서 조건(2.23)과 YBKT 조건(2.20)보다 유의미하게 높았으며, p < 0.05였다.
• 시뮬레이션 결과, MAPLE는 전문가가 구성한 순서 매기기 및 난이도 초기화 없이 밴딧 접근 방식보다 평균 및 우수 학생들에게서 뛰어난 성과를 보였다.
• 알고리즘이 응답 패턴에 따라 문제 선택을 적응적으로 조정하는 것으로 나타났으며, 실패 후에는 인지 부하를 줄이기 위해 더 보수적으로 행동했다.