[논문 리뷰] A Deep Learning Approach to Behavior-Based Learner Modeling

Yuwei Tu, Wei-Yu Chen외 1명|arXiv (Cornell University)|2020. 01. 23.

Online Learning and Analytics참고 문헌 19인용 수 4

한 줄 요약

이 논문은 짧은 온라인 강좌에서 학습자 성과를 예측하기 위해 클릭스트림 행동 특징과 코스 콘텐츠에서 유도된 GloVe 기반 텍스트 특징을 조합하는 두 가지 분기 결정 네트워크(TBN)를 제안한다. 모델은 95.7%의 정확도와 0.958 AUC를 기록하며, 신경망 및 비신경망 기반 기준 모델들을 모두 능가하여, 사용자 행동과 콘텐츠 의미 정보를 통합함으로써 예측 성능 향상이 뚜렷하게 향상됨을 보여준다.

ABSTRACT

The increasing popularity of e-learning has created demand for improving online education through techniques such as predictive analytics and content recommendations. In this paper, we study learner outcome predictions, i.e., predictions of how they will perform at the end of a course. We propose a novel Two Branch Decision Network for performance prediction that incorporates two important factors: how learners progress through the course and how the content progresses through the course. We combine clickstream features which log every action the learner takes while learning, and textual features which are generated through pre-trained GloVe word embeddings. To assess the performance of our proposed network, we collect data from a short online course designed for corporate training and evaluate both neural network and non-neural network based algorithms on it. Our proposed algorithm achieves 95.7% accuracy and 0.958 AUC score, which outperforms all other models. The results also indicate the combination of behavior features and text features are more predictive than behavior features only and neural network models are powerful in capturing the joint relationship between user behavior and course content.

연구 동기 및 목표

• 중간 평가가 없는 짧은 온라인 강좌에서 학습자 성과 예측을 향상시키기 위해.
• 사용자 행동 데이터와 코스 콘텐츠 텍스트 특징을 조합함으로써 예측 성능 향상 여부를 조사하기 위해.
• 학습자 행동과 코스 콘텐츠 진행 상황 간의 상호관계를 포괄하는 딥 러닝 모델을 개발하기 위해.
• 실제 기업 교육 데이터셋에서 모델의 성능을 신경망 및 비신경망 기반 기준 모델과 비교하기 위해.
• 예측 결과를 활용하여 콘텐츠 선택 및 개인화에 실질적인 통찰을 제공할 잠재력을 탐색하기 위해.

제안 방법

• 두 가지 분기 결정 네트워크(TBN)는 사용자 클릭스트림 특징과 코스 콘텐츠 텍스트 특징을 별도의 분기에서 처리한다.
• 클릭스트림 특징은 코스 콘텐츠에 대한 사용자 상호작용(예: 클릭, 슬라이드 소요 시간)에서 유도된다.
• 텍스트 특징은 사전 학습된 GloVe 워드 임베딩을 사용하여 각 슬라이드 및 퀴즈의 의미적 콘텐츠를 표현한다.
• 두 분기는 완전 연결 층을 통해 융합되어 사용자 행동과 콘텐츠 의미 간의 상호관계를 모델링한다.
• 모델는 0.005의 학습률로 Adam 최적화를 사용하여 2000 에포크 동안 교차 엔트로피 손실을 최소화하도록 훈련된다.
• 훈련 및 평가 과정에서 클래스 분포가 균형을 이루도록 5겹의 전략적 교차검증 전략을 사용한다.

실험 결과

연구 질문

• RQ1 사용자 행동 특징과 코스 콘텐츠 텍스트 특징을 조합하면 짧은 온라인 강좌에서 성과 예측 정확도가 향상되는가?
• RQ2 사용자 행동과 콘텐츠 의미를 함께 모델링하는 딥 뉴럴 네트워크 모델은 기존 모델보다 어떻게 비교되는가?
• RQ3 의미적 콘텐츠 특징을 포함하면 행동 전용 모델보다 더 안정적이고 정확한 예측이 이루어지는가?
• RQ4 모델은 예측 성능 기반으로 핵심 코스 세그먼트를 식별할 수 있는가? 이를 통해 콘텐츠 선택에 대한 실질적 통찰을 제공할 수 있는가?
• RQ5 TBN 아키텍처는 ESN 또는 BNN과 같은 다른 신경망 설계보다 사용자-콘텐츠 상호작용을 더 효과적으로 포착하는가?

주요 결과

• 제안된 두 가지 분기 결정 네트워크(TBN)는 95.7%의 정확도와 0.958 AUC를 기록하며, 테스트된 모든 다른 모델, 특히 기울기 부스팅 분류기까지 포함하여 모두 능가한다.
• TBN 모델은 BNN 및 ESN 모델(각각 93.2% 및 94.2% 정확도)을 크게 능가하여 완전 연결 융합층의 우수성을 입증한다.
• GloVe 임베딩을 통한 코스 콘텐츠 텍스트 특징 통합은 행동 전용 모델 대비 예측 성능 향상을 이끌어내어 콘텐츠 의미 정보의 중요성을 확인한다.
• 기울기 부스팅 분류기는 가장 높은 정확도(97.6%)를 기록했지만 AUC가 0.911로 낮아, 클래스 확률 추정의 안정성은 떨어지는 것으로 나타났다.
• 훈련 곡선 분석 결과 AUC와 정확도가 200 에포크 이후 안정화됨을 확인하여 과적합 방지를 위해 조기 정지 기법을 적용할 수 있음을 시사한다.
• 결과는 사용자 행동과 코스 콘텐츠 간의 복잡한 관계를 포착하는 데 있어 신경망 모델이 비신경망 모델보다 더 강력하고 안정적임을 시사한다.