[논문 리뷰] MATT: Multimodal Attention Level Estimation for e-learning Platforms

Roberto Daza, Luis Gómez외 5명|arXiv (Cornell University)|2023. 01. 22.

Gaze Tracking and Assistive Technology인용 수 6

한 줄 요약

이 논문은 눈 깜빡임 빈도, 머리 자세, 얼굴 표정, 특징점 등의 얼굴 자극을 사용하여 온라인 학습 환경에서 학생의 주의 수준을 추정하기 위한 다중모달 딥러닝 시스템인 MATT를 제안한다. mEBAL 데이터셋으로 훈련된 시스템은 눈 깜빡임, 머리 자세, 얼굴 표정 특징의 융합을 통해 81.98%의 정확도(1-EER)를 달성하였으며, 이는 이전 연구 대비 상대적으로 40%의 오차 감소를 나타낸다.

ABSTRACT

This work presents a new multimodal system for remote attention level estimation based on multimodal face analysis. Our multimodal approach uses different parameters and signals obtained from the behavior and physiological processes that have been related to modeling cognitive load such as faces gestures (e.g., blink rate, facial actions units) and user actions (e.g., head pose, distance to the camera). The multimodal system uses the following modules based on Convolutional Neural Networks (CNNs): Eye blink detection, head pose estimation, facial landmark detection, and facial expression features. First, we individually evaluate the proposed modules in the task of estimating the student's attention level captured during online e-learning sessions. For that we trained binary classifiers (high or low attention) based on Support Vector Machines (SVM) for each module. Secondly, we find out to what extent multimodal score level fusion improves the attention level estimation. The mEBAL database is used in the experimental framework, a public multi-modal database for attention level estimation obtained in an e-learning environment that contains data from 38 users while conducting several e-learning tasks of variable difficulty (creating changes in student cognitive loads).

연구 동기 및 목표

• 원격 온라인 학습 환경에서 웹캠 데이터만을 사용하여 실시간 주의 수준 추정을 위한 비침습적, 다중모달 시스템 개발.
• 눈 깜빡임 빈도, 머리 자세, 얼굴 표정, 얼굴 특징점 등의 개별 및 조합적 효과가 주의 수준 예측에 얼마나 기여하는지 조사.
• SVM 분류기를 사용한 점수 수준 융합을 통해 단일 모odal 접근 방식을 초월하여 다중 얼굴 신호를 융합함.
• 통제된 인지 부하 변화가 있는 공개된 다중모달 온라인 학습 데이터베이스인 mEBAL 데이터셋을 활용해 시스템 검증.
• 다중모달 융합이 단일모달 기반 기준선 대비 주의 수준 추정 정확도에서 뚜렷한 우수성을 보임을 입증.

제안 방법

• 눈 깜빡임 감지, 머리 자세 추정, 얼굴 특징점 감지, 얼굴 표정 인식를 위한 네 가지 핵심 얼굴 특징 추출 모듈에 대해 컨볼루션 신경망(CNNs)을 활용.
• 각 단일모달 특징에 대해 별도의 이진 SVM 분류기를 훈련하여 추출된 얼굴 신호 기반으로 높은 주의 수준 대비 낮은 주의 수준을 예측.
• 다양한 모달리티의 예측을 융합하기 위해 점수 수준 융합을 적용하였으며, 신뢰도 점수의 가중 평균 또는 연결을 사용.
• mEBAL 데이터셋에서 10% 주의 기간 백분위수 프로토콜을 사용해 융합 전략을 평가하였으며, 동등 오류율(EER)과 정확도를 통해 성능 비교.
• ROC 곡선 분석과 기준 방법에 대한 통계적 비교를 통해 최고 성능을 보인 다중모달 조합을 선별.
• 38명의 사용자가 다양한 난이도의 온라인 학습 작업을 수행하면서 동기화된 영상, 얼굴, 인지 부하 데이터를 포함한 mEBAL 데이터베이스를 사용.

실험 결과

연구 질문

• RQ1 눈 깜빡임 빈도, 머리 자세, 얼굴 표정, 얼굴 특징점이 온라인 학습 세션에서 주의 수준을 높은 정확도로 개별적으로 예측할 수 있는가?
• RQ2 점수 수준 융합을 통해 다수의 얼굴 모달리티를 융합할 경우 단일모달 접근 방식에 비해 주의 수준 추정 성능이 어떻게 향상되는가?
• RQ3 mEBAL 데이터셋에서 주의 수준 추정 정확도가 가장 높은 특정 얼굴 특징 조합은 무엇인가?
• RQ4 다중모달 융합은 ALEBk와 같은 최신 기술 대비 오차율을 얼마나 감소시키는가?
• RQ5 얼굴 특징점 기반 특징(EAR 등)을 다중모달 환경에 포함시키면 전체 성능에 긍정적 영향을 미치는가, 아니면 부정적 영향을 미치는가?

주요 결과

• 눈 깜빡임 감지, 머리 자세 추정, 얼굴 표정 인식을 융합한 다중모달 시스템이 81.98%의 정확도(1-EER)를 기록하여 모든 단일모달 기준선을 뛰어넘음.
• 최고의 단일모달 결과는 눈 깜빡임 감지만으로 달성되었으며, 정확도 75.96%(1-EER)를 기록하여 깜빡임 빈도와 주의 수준 간 강한 상관관계를 보임.
• 눈 깜빡임과 머리 자세 특징의 조합은 78.53%의 정확도(1-EER)를 기록하여 머리 자세가 주의 수준 추정에 유의미한 맥락 정보를 제공함을 시사.
• EAR 기반 얼굴 특징점 신호를 융합에 포함시키면 성능이 일관되게 저하됨을 확인하여, 현재 작업에 대해 이 신호가 잡음 또는 중복성을 유발할 수 있음.
• 눈 깜빡임, 머리 자세, 얼굴 표정, EAR을 포함한 네 모달리티 융합은 79.66%의 정확도(1-EER)를 기록하여 두 번째로 높은 성능을 기록함으로써, 모든 특징이 성능 향상에 동일하게 기여하지는 않음을 시사.
• 제안된 MATT 시스템은 이전 최고 성능 기술인 ALEBk(70% 정확도) 대비 약 40%의 상대적 오차 감소를 달성하여 주의 수준 추정 정확도 향상이 뚜렷하게 확인됨.