[논문 리뷰] Predicting Student Performance in Interactive Online Question Pools Using Mouse Interaction Features

Huan Wei, Haotian Li외 3명|arXiv (Cornell University)|2020. 01. 09.

Online Learning and Analytics참고 문헌 38인용 수 4

한 줄 요약

이 논문은 학생의 상호작용 기반 온라인 문제 풀이 풀에서 성과를 예측하기 위한 새로운 방법을 제안한다. 이 방법은 생각 시간, 첫 번째 시도, 드래그 앤 드롭 패턴과 같은 마우스 상호작용 특징과 이질적 정보 네트워크(HIN)를 활용하여 문제 간 유사성을 모델링한다. 다양한 기계학습 모델을 통해 전통적인 통계적 특징에 비해 예측 정확도가 크게 향상되며, 이는 비구조적이고 교과과정 외의 학습 환경에서 세밀한 행동 데이터의 가치를 입증한다.

ABSTRACT

Modeling student learning and further predicting the performance is a well-established task in online learning and is crucial to personalized education by recommending different learning resources to different students based on their needs. Interactive online question pools (e.g., educational game platforms), an important component of online education, have become increasingly popular in recent years. However, most existing work on student performance prediction targets at online learning platforms with a well-structured curriculum, predefined question order and accurate knowledge tags provided by domain experts. It remains unclear how to conduct student performance prediction in interactive online question pools without such well-organized question orders or knowledge tags by experts. In this paper, we propose a novel approach to boost student performance prediction in interactive online question pools by further considering student interaction features and the similarity between questions. Specifically, we introduce new features (e.g., think time, first attempt, and first drag-and-drop) based on student mouse movement trajectories to delineate students' problem-solving details. In addition, heterogeneous information network is applied to integrating students' historical problem-solving information on similar questions, enhancing student performance predictions on a new question. We evaluate the proposed approach on the dataset from a real-world interactive question pool using four typical machine learning models.

연구 동기 및 목표

• 사전에 정의된 문제 순서나 전문가가 태그한 지식 태그가 없는 상호작용 기반 온라인 문제 풀에서 학생 성과 예측의 과제를 해결하기 위해.
• 마우스 상호작용 특징이 비구조적이고 탐색적인 학습 환경에서 성과 예측에 의미 있는 신호를 제공할 수 있는지 탐색하기 위해.
• 유사한 문제에 대한 이전 문제 해결 패턴을 이질적 정보 네트워크(HIN)를 통해 통합하여 예측의 강건성을 향상시키기 위해.
• 제안된 방법의 효과성과 일관성을 다양한 기계학습 모델과 문제 유형에 걸쳐 평가하기 위해.

제안 방법

• 기록된 상호작용 데이터에서 생각 시간, 첫 번째 시도, 첫 번째 드래그 앤 드롭 이벤트와 같은 마우스 이동 경로 특징을 추출한다.
• 슬라이딩 윈도우와 밀도 임계값을 사용해 마우스 드래그 이벤트의 변화점(Change points)을 탐지하고, 각 문제에 대해 드래그 이벤트 히스토GRAM을 생성한다.
• 학생, 문제, 상호작용 특징을 연결하여 유사한 문제 간 관계를 모델링하는 이질적 정보 네트워크(HIN)를 구축한다.
• HIN을 활용해 의미적으로 유사한 문제들로부터의 이전 성과 데이터를 집계하여, 새로운 문제에 대한 예측을 향상시킨다.
• 추출된 상호작용 특징과 전통적인 통계적 특징(예: 평균 점수)을 결합하여 표준 기계학습 모델(예: GBDT, SVM, LR, RF)에 입력한다.
• 코사인 유사도를 사용해 유사한 상호작용 패턴을 가진 문제를 식별하고, 유사도 점수 ≥0.7인 문제들만 HIN 전파에 대상으로 선정한다.

실험 결과

연구 질문

• RQ1 생각 시간 및 드래그 앤 드롭 패턴과 같은 마우스 상호작용 특징이 상호작용 기반 온라인 문제 풀에서 학생 성과 예측을 향상시키는가?
• RQ2 이질적 정보 네트워크(HIN)를 통한 유사 문제에 대한 이전 성과 통합이 예측 정확도 향상에 얼마나 효과적인가?
• RQ3 제안된 방법이 다양한 기계학습 모델과 문제 유형에서 전통적인 통계적 기반 모델을 초월하는가?
• RQ4 제안된 방법의 성능이 다양한 모델과 문제 유형 간에 일관된가?

주요 결과

• 모든 테스트된 모델에서 통계적 특징(예: 평균 점수)만을 사용하는 베이스라인 모델에 비해 제안된 방법이 유의미하게 높은 예측 정확도를 달성했다.
• 마우스 상호작용 특징의 포함이 성능 향상에 크게 기여했으며, 특히 GBDT 모델에서 가장 두드러진 개선이 관찰되어 이 특징들이 강력한 예측 능력을 지닌다는 것을 시사한다.
• 이질적 정보 네트워크(HIN)는 유사 문제로부터의 이전 데이터를 효과적으로 활용하여, 새로운 문제에 대한 예측을 향상시켰으며, 이는 이전 학습 패턴의 전이 가능성을 포착했다.
• GBDT, SVM, 로지스틱 회귀, 랜덤 포레스트 등 다양한 기계학습 모델에서 다양한 문제 유형에 걸쳐 제안된 방법이 일관된 성능 향상을 보였다.
• 구조적 교과과정이나 정밀한 지식 태그가 없는 환경에서는 상호작용 기반 특징이 통계적 특징만으로는 더 정보가 풍부하다는 것이 결과적으로 확인되었다.