[논문 리뷰] Examining the relationship between student performance and video interactions

Robert Solli, John M. Aiken외 2명|arXiv (Cornell University)|2018. 07. 05.

Online Learning and Analytics참고 문헌 13인용 수 4

한 줄 요약

이 연구는 플립드 물리수업에서 학생이 지도 영상과 상호작용하는 방식—클릭스트림 데이터로 측정된 일시정지, 스킵, 재생 시간 등—이 복잡한 실험 평가 성과를 예측할 수 있는지 조사한다. 로지스틱 회귀 및 추가 모델을 사용하여 저자들은 영상 상호작용 패턴과 실험 성과 간에 유의미한 예측 관계가 없음을 발견하였으며, 이는 학생이 영상과 어떻게 상호작용하는지가 고차원적 과제에서의 성공 능력을 반영하지 않을 수 있음을 시사한다.

ABSTRACT

In this work, we attempted to predict student performance on a suite of laboratory assessments using students' interactions with associated instructional videos. The students' performance is measured by a graded presentation for each of four laboratory presentations in an introductory mechanics course. Each lab assessment was associated with between one and three videos of instructional content. Using video clickstream data, we define summary features (number of pauses, seeks) and contextual information (fraction of time played, in-semester order). These features serve as inputs to a logistic regression (LR) model that aims to predict student performance on the laboratory assessments. Our findings show that LR models are unable to predict student performance. Adding contextual information did not change the model performance. We compare our findings to findings from other studies and explore caveats to the null-result such as representation of the features, the possibility of underfitting, and the complexity of the assessment.

연구 동기 및 목표

• 플립드 초급 역학 수업에서 학생의 영상 상호작용 특징이 복잡한 실험 평가 성과를 예측할 수 있는지 확인하기 위해.
• 수업 중 시기나 학생 배경과 같은 맥락적 요인이 영상 상호작용 데이터의 예측 능력에 영향을 미치는지 평가하기 위해.
• 영상 상호작용과 실험 결과 간의 예측 관계가 없을 수 있는 잠재적 방법론적 한계를 탐색하기 위해.
• 로지스틱 회귀보다 더 나은 성능을 보이는 대체 모델(예: 랜덤 포레스트, SVM)이 영상 참여 지표로부터 실험 성과를 예측하는 데 유의미하게 뛰어나지 않는지 평가하기 위해.

제안 방법

• 161명의 학생이 코세라 플랫폼에서 제공하는 78개의 지도 영상과 상호작용하면서 수집한 클릭스트림 데이터를 확보하였다.
• 영상 상호작용당 8개의 요약 특징(예: 정규화된 재생 시간, 일시정지 수, 스킵 수, 재생 수, 상호작용 시간의 z-점수)과 실험 순서 및 FMCE 사전 테스트 점수와 같은 맥락적 특징을 추출하였다.
• 627개의 실험-영상 쌍에 대해 특징 벡터를 구성하였으며, 중앙값 기준으로 높은 성과 또는 낮은 성과로 나누어 레이블을 부여하였다.
• 이러한 특징을 사용하여 로지스틱 회귀 모델을 훈련하여 높은 성과 대비 낮은 성과를 예측하였으며, 맥락 변수를 포함한 추가 모델도 구축하였다.
• 모델 성능은 코모고로프-스미르노프(Kolmogorov-Smirnov, KS) 통계량을 사용하여 평가하였으며, 무작위 추측 성능과 비교하였다.
• 모델의 안정성과 특징 스케일링 및 모델 복잡도에 대한 민감도를 평가하기 위해 랜덤 포레스트 및 SVM 모델을 테스트하였다.

실험 결과

연구 질문

• RQ1 플립드 물리수업에서 학생의 영상 상호작용 특징이 실험 평가 성과를 예측할 수 있는가?
• RQ2 실험 순서, 사전 테스트 점수 등의 맥락 정보를 추가하면 영상 상호작용 특징의 예측 능력이 향상되는가?
• RQ3 결과가 null인 것은 모델의 과소적합, 특징 표현 방식, 또는 이元 분류 접근 방식 탓인가?
• RQ4 더 복잡한 모델(예: 랜덤 포레스트, SVM)이 영상 참여 지표로부터 실험 성과를 예측하는 데 로지스틱 회귀보다 뛰어나지 않는가?

주요 결과

• 로지스틱 회귀 모델은 실험 평가 성과에 대해 유의미한 예측 능력을 보이지 않았으며, KS 통계량이 0.125 이하이고 p > 0.28이었기 때문에 무작위 추측 수준 이하의 성능을 보였다.
• 실험 순서 및 FMCE 사전 테스트 점수와 같은 맥락적 특징을 추가해도 모델 성능 향상이 없었으며, 이는 이러한 변수들이 예측 능력을 향상시키지 못했음을 시사한다.
• 랜덤 포레스트 및 SVM 모델 역시 유의미한 분류 성능를 달성하지 못했으며, KS 통계량이 0.125 이하이므로 모델 선택에 대한 강건성과 잠재적 신호의 부재를 확인하였다.
• 영상 상호작용 패턴(예: 일시정지, 스킵, 재생 시간)이 복잡하고 지연된 실험 평가 성과와 상관이 없다는 증거를 발견하지 못했다.
• 저자들은 영상 참여 지표가 복잡하고 탐구 기반 과제에서의 학습 결과를 신뢰할 수 있는 대체 지표로 사용하기 어려울 수 있다고 결론 내렸다.
• 결과는 지도 영상이 플립드 수업에서의 역할을 재고하고, 고차원 과제 성과 예측을 위해 수업 내 참여도를 우선시해야 할 수 있음을 시사한다.