[논문 리뷰] Predicting Engagement in Video Lectures

Sahan Bulathwela, María Pérez‐Ortiz외 3명|arXiv (Cornell University)|2020. 05. 31.

Online Learning and Analytics참고 문헌 32인용 수 14

한 줄 요약

이 논문은 교육 자료의 맥락에 관계없이 참여도를 예측하는 모델을 제안하며, 교차 모odal 및 모달 특화 특징을 사용하여 언어 기반 특징만으로도 뛰어난 성능을 달성함을 보여준다. 20개의 주제에 걸쳐 4,000개 이상의 강의로 구성된 새로운 데이터셋을 활용하여 랜덤 포레스트가 다른 모델보다 뛰어난 성능을 보였으며, 강의 길이가 가장 영향력 있는 특징임을 확인했고, 교육 추천 시스템의 콜드 스타트 문제를 효과적으로 해결하였다.

ABSTRACT

The explosion of Open Educational Resources (OERs) in the recent years creates the demand for scalable, automatic approaches to process and evaluate OERs, with the end goal of identifying and recommending the most suitable educational materials for learners. We focus on building models to find the characteristics and features involved in context-agnostic engagement (i.e. population-based), a seldom researched topic compared to other contextualised and personalised approaches that focus more on individual learner engagement. Learner engagement, is arguably a more reliable measure than popularity/number of views, is more abundant than user ratings and has also been shown to be a crucial component in achieving learning outcomes. In this work, we explore the idea of building a predictive model for population-based engagement in education. We introduce a novel, large dataset of video lectures for predicting context-agnostic engagement and propose both cross-modal and modality-specific feature sets to achieve this task. We further test different strategies for quantifying learner engagement signals. We demonstrate the use of our approach in the case of data scarcity. Additionally, we perform a sensitivity analysis of the best performing model, which shows promising performance and can be easily integrated into an educational recommender system for OERs.

연구 동기 및 목표

• 열린 교육 자료(OER)에서 인구 기반 참여도를 예측하기 위한 확장 가능하고 자동화된 방법의 부족을 해결한다.
• 개별 학습자 맥락에 영향을 받지 않는 일반적인 자원 수준의 참여도를 측정하는 맥락에 관계없는 참여도 모델을 개발한다.
• 새로운 콘텐츠와 사용자에 대해 참여도를 조기에 추정할 수 있도록, 교육 추천 시스템의 데이터 부족 문제를 해결한다.
• 교차 모달 특징(예: 텍스트, 오디오)과 모달 특화 특징이 참여도 예측에 얼마나 효과적인지 조사한다.
• 일반적인 유일한 모델이 교육 분야의 다양한 지식 영역에 걸쳐 일반화 가능한지 검증한다.

제안 방법

• 20개의 다양한 주제를 아우르는 4,000개 이상의 영상 강의로 구성된 대규모 공개 데이터셋을 구축하였다.
• 강의 내용, 오디오, 영상 메타데이터에서 교차 모달 특징을 추출하였으며, 언어적 및 구조적 특성에 중점을 두었다.
• 오디오 품질 및 시각적 동적 특성과 같은 모달 특화 특징을 적용하여 그 추가적 가치를 평가하였다.
• 다양한 기계 학습 모델을 훈련하고 비교하였으며, 랜덤 포레스트가 가장 뛰어난 성능을 보였다.
• 강의의 참여도 수준에 따라 순위를 매기는 데 사용된 랭크 기반 평가 지표를 활용하여 모델 성능을 평가하였다.
• 특징 중요도와 지식 영역 간의 모델 강건성을 평가하기 위해 민감도 분석 및 아블레이션 연구를 수행하였다.

실험 결과

연구 질문

• RQ1 RQ1: 개인 학습자 맥락에 종속되지 않도록 확장 가능하고 맥락에 관계없는 참여도를 어떻게 인코딩할 수 있는가?
• RQ2 RQ2: 교차 모달 언어 기반 특징은 영상 강의 참여도 예측에 얼마나 효과적인가?
• RQ3 RQ3: 모달 특화 특징을 포함하면 성능에 상당한 향상이 이루어지는가?
• RQ4 RQ4: 어떤 특징이 맥락에 관계없는 참여도에 가장 큰 영향을 미치는가?
• RQ5 RQ5: 개인 맞춤형 참여도 모델과 비교해 볼 때, 근본적인 인구 기반 참여도 예측은 유용한가?
• RQ6 RQ6: 다양한 지식 영역 간에 동일한 기반 모델을 사용하여 참여도 예측이 가능한가?

주요 결과

• 랜덤 포레스트 모델이 모든 평가된 모델 중에서 가장 높은 성능을 보였으며, 참여도 예측 작업에 대해 강력한 일반화 능력을 입증하였다.
• 교차 모달 언어 기반 특징만으로도 만족스러운 예측 성능를 달성하여, 이들이 확장 가능하고 자동화된 참여도 모델링에 유용함을 시사한다.
• 모달 특화 특징을 통합함으로써 약간의 성능 향상이 있었지만, 결과에 큰 영향을 주지는 않아, 교차 모달 특징만으로도 강력한 예측이 가능함을 시사한다.
• 강의 길이가 맥락에 관계없는 참여도 예측에서 가장 영향력 있는 특징으로 확인되었으며, 이는 이전 연구 결과와 일치한다.
• 유사한 참여도 수준을 가진 강의를 구분하는 것보다는, 상당히 다른 참여도 수준을 가진 강의를 순위 매길 때 더 뛰어난 성능를 보였다.
• 다양한 지식 영역에 걸쳐 훈련된 단일 유니버설 모델이 주제별 전용 모델보다 뛰어난 성능를 보여, 공통 기반 참여도 모델의 타당성을 입증하였다.