[논문 리뷰] Towards an Integrative Educational Recommender for Lifelong Learners

Sahan Bulathwela, María Pérez‐Ortiz외 2명|arXiv (Cornell University)|2019. 12. 03.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 13인용 수 7

한 줄 요약

이 논문은 학습자 지식, 콘텐츠의 신선함, 자원의 품질, 호기심을 통합하여 종신학습을 개인화하는 새로운 확률적 교육 추천 시스템인 TrueLearn을 제안한다. 암시적 참여 신호를 활용해 동적 지식과 참여도를 모델링하기 위해 TrueSkill 알고리즘을 재구성함으로써, 0.677의 F1 스코어를 달성하여 Vanilla TrueSkill(0.400) 및 Multi-Skill KT(0.259)와 같은 기준 모델들을 능가한다. 이는 해석 가능성과 확장성 또한 유지한다.

ABSTRACT

One of the most ambitious use cases of computer-assisted learning is to build a recommendation system for lifelong learning. Most recommender algorithms exploit similarities between content and users, overseeing the necessity to leverage sensible learning trajectories for the learner. Lifelong learning thus presents unique challenges, requiring scalable and transparent models that can account for learner knowledge and content novelty simultaneously, while also retaining accurate learners representations for long periods of time. We attempt to build a novel educational recommender, that relies on an integrative approach combining multiple drivers of learners engagement. Our first step towards this goal is TrueLearn, which models content novelty and background knowledge of learners and achieves promising performance while retaining a human interpretable learner model.

연구 동기 및 목표

• 다양한 배경과 다중 모odal리티를 가진 종신학습자를 대상으로 개인화되고 참여도가 높은 교육 콘텐츠를 추천하는 데 도전한다.
• 기존 시스템이 사용자 관심사나 좁은 기술 추적에만 집중하는 한계를 극복하기 위해, 다수의 참여 유도 요인인 신선함, 지식, 품질, 호기심을 통합한다.
• 명시적 피드백에 의존하지 않고도 장기적인 학습자 상태를 확장성 있고 투명하며 데이터 효율적으로 모델링할 수 있도록 한다.
• Wikification을 활용한 자동 엔티티 연결을 통해 다국어 및 다중 모odal리티 학습 자원을 지원한다.
• 학습 경로 계획 및 모니터링을 지원하면서도 학습자가 이해할 수 있는 투명한 해석 가능성을 유지하는 시스템을 개발한다.

제안 방법

• 암시적 참여 신호를 활용해 학습자 지식과 콘텐츠의 신선함을 동적이고 확률적인 요소로 모델링하기 위해 TrueSkill 알고리즘을 재구성한다.
• 자원 주제(d), 현재 지식(k), 신선도(n), 참여도(εℓ)를 은닉 변수로 통합한 확률적 그래픽 모델(TrueLearn 요소 그래프)을 구성한다.
• 각 강의 조각에서 5개의 가장 관련성이 높은 위키백과 주제를 자동으로 추출하기 위해 Wikification을 사용하여 다국어 및 다중 모달리티 콘텐츠 표현을 가능하게 한다.
• 강의 원고를 5,000자 분량의 조각(~5분)으로 나누어 전체 자원이 아닌 지식 조각 수준에서 세밀한 추천을 가능하게 한다.
• 참여도를 정규화된 시청 시간으로 정의하고, 온라인 및 점진적 학습을 통해 장기간에 걸친 확장 가능한 학습자 표현을 유지한다.
• 학습자별로 온라인 방식으로 모델을 훈련하여 실시간 적응과 장기적 지식 추적을 가능하게 한다.

실험 결과

연구 질문

• RQ1 종신학습 환경에서 학습자 참여도의 다수의 유도 요인—지식, 신선함, 품질, 호기심—을 동시에 효과적으로 모델링할 수 있는 추천 시스템은 어떻게 설계할 수 있는가?
• RQ2 재구성된 TrueSkill 알고리즘이 지식의 동적 변화와 콘텐츠의 신선함을 유지하면서도 해석 가능성과 확장성은 그대로 유지할 수 있는가?
• RQ3 기존의 지식 추적 또는 IRT 모델과 비교했을 때, 콘텐츠의 신선함과 배경 지식을 통합하면 추천 성능에 어느 정도 향상이 이루어지는가?
• RQ4 암시적 참여 신호를 사용하는 실세계의 다국어, 다중 모달리티 환경에서 이 시스템은 어떤 성능을 보이는가?
• RQ5 모델이 투명하고 인간이 이해할 수 있는 학습자 표현을 제공함으로써, 자기 인식 및 학습 경로 계획에 도움이 될 수 있는가?

주요 결과

• TrueLearn는 VideoLectures.Net 전체 데이터셋에서 평균 F1 스코어 0.677을 기록하여, 다음으로 우수한 기준 모델인 Naïve majority(0.640)를 뚜렷이 앞서며 성능을 뛰어넘었다.
• TrueLearn는 Vanilla TrueSkill(0.400)과 Multi-Skill KT(0.259)를 모두 뛰어넘어, 신선함과 동적 지식 모델링을 통합한 것이 효과적임을 입증했다.
• 인간이 이해할 수 있는 지식 공간(위키백과 주제 기반)과 온라인 학습을 활용함으로써 확장성과 투명성을 유지한다.
• 자동화된 Wikification을 통해 다양한 언어와 모달리티에서 영향력 없는 지식 구성 요소를 확장성 있게 추출할 수 있다.
• 명시적 피드백이 필요 없이도 암시적 참여 신호(정규화된 시청 시간)만으로도 복잡한 학습자 상태를 추론할 수 있다.
• 다양한 참여 유도 요인, 특히 신선함과 지식을 모델링함으로써 더 정확하고 개인화된 추천이 가능함을 결과가 검증했다.