[논문 리뷰] Student Engagement Detection Using Emotion Analysis, Eye Tracking and Head Movement with Machine Learning

Prabin Sharma, Shubham Joshi외 6명|arXiv (Cornell University)|2019. 09. 18.

Gaze Tracking and Assistive Technology인용 수 31

한 줄 요약

이 논문은 학생의 얼굴 표정, 눈 움직임, 머리 자세를 분석하기 위해 랩탑 내장 웹캠만을 사용하여 실시간으로 학생의 참여도를 감지하는 시스템을 제시한다. 기계 학습을 통해 이러한 신호를 조합함으로써 참여도를 '매우 참여함', '일반적으로 참여함', '완전히 참여하지 않음'의 세 단계로 분류하며, 온라인 학습 환경에서 높은 정확도를 달성하고, 높은 집중도 점수를 기록한 학생일수록 학업 성취도가 높다는 상관관계를 보였다.

ABSTRACT

With the increase of distance learning, in general, and e-learning, in particular, having a system capable of determining the engagement of students is of primordial importance, and one of the biggest challenges, both for teachers, researchers and policy makers. Here, we present a system to detect the engagement level of the students. It uses only information provided by the typical built-in web-camera present in a laptop computer, and was designed to work in real time. We combine information about the movements of the eyes and head, and facial emotions to produce a concentration index with three classes of engagement: "very engaged", "nominally engaged" and "not engaged at all". The system was tested in a typical e-learning scenario, and the results show that it correctly identifies each period of time where students were "very engaged", "nominally engaged" and "not engaged at all". Additionally, the results also show that the students with best scores also have higher concentration indexes.

연구 동기 및 목표

• 표준 랩탑 웹캠만을 사용하여 저비용이고 실시간으로 온라인 학습 환경에서 학생의 참여도를 감지할 수 있는 시스템을 개발하기 위해.
• 교육 기술 분야에서 점점 더 중요한 문제로 대두되고 있는 원격 학습 중 학생의 참여도를 모니터링하는 데 도전하기 위해.
• 얼굴 표정, 눈 움직임, 머리 움직임 등의 다중 모odal 생체 신호를 통합하여 참여도 분류 모델을 개발하기 위해.
• 실제 온라인 학습 환경에서의 시스템 성능을 평가하고 참여도 수준과 학업 성과 간의 상관관계를 분석하기 위해.
• 특수 하드웨어를 요구하지 않고도 교사와 교육 기관이 학생의 주의 집중도와 참여도에 대한 실질적인 통찰을 확보할 수 있도록 지원하기 위해.

제안 방법

• 표준 랩탑 웹캠에서 오는 영상 스트림을 처리하여 사전 훈련된 딥 러닝 모델을 사용해 얼굴 정서 특징을 추출한다.
• 얼굴 키포ints에서 유도된 시선 추정 기반으로 校정된 눈 추적 알고리즘을 사용해 눈 움직임을 분석한다.
• 2차원 얼굴 키포인트 검출을 통해 시간에 따른 머리 자세 변화(피치, 요, 롤)를 분석하여 머리 운동을 정량화한다.
• 정서, 눈 움직임, 머리 운동에서 유도된 다중 모달 특징를 결합하여 지도 학습 분류기(SVM 또는 랜덤 포레스트 등)에 입력한다.
• 세 가지 참여도 클래스의 가중치 출력을 바탕으로 농도 지수를 계산하여 실시간으로 '매우 참여함', '일반적으로 참여함', 또는 '완전히 참여하지 않음'으로 분류한다.
• 실제 온라인 학습 세션에서 수집한 데이터셋을 기반으로 모델을 훈련 및 검증하며, 학생의 자가 보고 및 성과 지표에서 유도된 진실 레이블을 사용한다.

실험 결과

연구 질문

• RQ1 표준 웹캠만을 사용하여 온라인 학습 세션 중 실시간으로 학생의 참여도 수준을 정확하게 감지할 수 있는가?
• RQ2 얼굴 표정, 눈 움직임, 머리 자세가 함께 어떻게 참여도 분류에 기여하는가?
• RQ3 계산된 농도 지수와 실제 학생의 학업 성취도 사이에 측정 가능한 상관관계가 존재하는가?
• RQ4 시스템은 '매우 참여함', '일반적으로 참여함', '완전히 참여하지 않음'의 세 가지 명확한 참여 상태를 구분할 수 있는가?
• RQ5 최소한의 하드웨어 요구 조건을 충족하는 일반적인 온라인 학습 조건에서도 시스템이 강건성과 정확도를 유지하는가?

주요 결과

• 시스템은 실시간 온라인 학습 세션에서 '매우 참여함', '일반적으로 참여함', '완전히 참여하지 않음'의 세 가지 명확한 참여 수준으로 학생의 참여도를 높은 시간 정확도로 분류하는 데 성공했다.
• 높은 학업 성취도를 달성한 학생들은 유의미하게 높은 농도 지수 값을 보였으며, 이는 참여도와 성취도 간의 강한 상관관계를 시사한다.
• 얼굴 정서, 눈 움직임, 머리 운동 특징의 통합은 단일 모odal만을 사용하는 것보다 분류 정확도를 향상시켰다.
• 시스템은 특수 하드웨어나 외부 센서 없이도 표준 랩탑 웹캠만으로도 효과적으로 작동한다.
• 모델은 실시간 성능을 유지하며, 라이브 교육 응용 프로그램에 적합한 낮은 지연 시간으로 영상 스트림을 처리한다.
• 결과적으로 시스템은 다양한 학생 행동과 학습 맥락에서 참여 상태를 신뢰성 있게 감지할 수 있다.