[논문 리뷰] Real-time Attention Span Tracking in Online Education

Rahul RK, Shantha Kumar S외 2명|arXiv (Cornell University)|2021. 11. 29.

Mind wandering and attention참고 문헌 6인용 수 4

한 줄 요약

이 논문은 온라인 수업 중 학생의 주의 산만 정도를 카메라와 마이크 입력을 통해 분석하여 다섯 가지 비언어적 특징—머리 자세, 눈의 시선, 얼굴 표정, 머리 움직임, 말하기 패턴—을 추적하는 실시간 시스템을 제안한다. 컴퓨터 비전과 기계 학습을 융합함으로써 시스템은 주의 점수를 계산하고 학생 및 교사에게 즉각적인 피드백을 제공하여 히우리스틱 주의 지표를 통해 성과 및 수업 품질 평가가 가능하게 한다.

ABSTRACT

Over the last decade, e-learning has revolutionized how students learn by providing them access to quality education whenever and wherever they want. However, students often get distracted because of various reasons, which affect the learning capacity to a great extent. Many researchers have been trying to improve the quality of online education, but we need a holistic approach to address this issue. This paper intends to provide a mechanism that uses the camera feed and microphone input to monitor the real-time attention level of students during online classes. We explore various image processing techniques and machine learning algorithms throughout this study. We propose a system that uses five distinct non-verbal features to calculate the attention score of the student during computer based tasks and generate real-time feedback for both students and the organization. We can use the generated feedback as a heuristic value to analyze the overall performance of students as well as the teaching standards of the lecturers.

연구 동기 및 목표

• 온라인 교육 환경에서 학생의 산만함 증가 문제를 해결하기 위해.
• 가상 수업 중 실시간으로 비침습적인 방식으로 학생의 주의를 모니터링할 수 있는 방법을 개발하기 위해.
• 주의 수준과 관련된 비언어적 행동 징후를 식별하고 정량화하기 위해.
• 실시간 주의 지표를 바탕으로 학생과 교사에게 실질적인 피드백을 제공하기 위해.
• 학생 참여도와 수업 효과성 평가를 위한 히우리스틱 프레임워크를 수립하기 위해.

제안 방법

• 시스템은 온라인 수업 중 학생으로부터 실시간 영상 및 오디오 스트림을 캡처한다.
• 컴퓨터 비전 및 오디오 처리 기법을 사용하여 다섯 가지 비언어적 특징—머리 자세, 눈의 시선, 얼굴 표정, 머리 움직임, 말하기 패턴—을 추출한다.
• 기계 학습 모델이 이러한 특징을 융합하여 실시간으로 동적 주의 점수를 계산한다.
• 주의 점수는 지속적으로 업데이트되며 학생 및 강사에게 즉각적인 피드백을 생성하는 데 사용된다.
• 정확한 시선 및 얼굴 활동 감지를 위해 이미지 처리 및 딥 러닝 모델을 활용한다.
• 피드백은 개인 학생의 참여도와 전체 수업 품질 평가를 위한 히우리스틱으로 사용된다.

실험 결과

연구 질문

• RQ1 온라인 학습 중 영상 및 오디오 스트림에서 비언어적 행동 징후를 신뢰성 있게 추출할 수 있는가?
• RQ2 다양한 비언어적 특징 중에서 실시간 학생 주의를 가장 정확하게 반영하는 조합은 무엇인가?
• RQ3 충분한 정확도로 실시간 주의 점수를 계산하여 수업 피드백에 활용할 수 있는가?
• RQ4 주의 지표는 어떻게 학생의 참여도와 수업 효과성 평가에 활용될 수 있는가?
• RQ5 이러한 시스템을 실제 온라인 교육 환경에 구현할 수 있는가의 타당성은 무엇인가?

주요 결과

• 시스템은 영상 및 오디오 입력에서 다섯 가지 비언어적 특징을 사용하여 실시간 주의 점수를 성공적으로 계산한다.
• 주의 점수는 라이브 온라인 수업 중 학생 및 교사에게 실질적인 피드백을 제공한다.
• 주의 지표를 통한 히우리스틱 기반의 학생 참여도 및 수업 품질 평가가 가능하다.
• 시스템은 온라인 교육 환경에서 실시간 모니터링에 대한 타당성을 입증한다.
• 시각적 및 청각적 신호의 통합은 단일 모odal 접근 방식에 비해 주의 추정의 강건성을 향상시킨다.
• 이 방법은 전자학습 플랫폼에서 기관용으로 확장 가능한 배포를 지원한다.