[논문 리뷰] ALEBk: Feasibility Study of Attention Level Estimation via Blink Detection applied to e-Learning

Roberto Daza, Daniel DeAlcala외 4명|arXiv (Cornell University)|2021. 12. 16.

Gaze Tracking and Assistive Technology인용 수 12

한 줄 요약

이 논문은 ALEBk를 제안하며, CNN 기반의 눈 깜빡임 검출기를 사용하여 e-러닝 환경에서 학생의 주의 수준을 눈 깜빡임 빈도를 통해 추정하는 새로운 방법을 제시한다. 눈 깜빡임 빈도와 주의 수준 간에 유의미한 반비례 상관관계가 존재하며, mEBAL 데이터베이스를 사용하여 최대 74.47%의 정확도로 높음과 낮음 주의 상태를 분류하는 데 성공하였다.

ABSTRACT

This work presents a feasibility study of remote attention level estimation based on eye blink frequency. We first propose an eye blink detection system based on Convolutional Neural Networks (CNNs), very competitive with respect to related works. Using this detector, we experimentally evaluate the relationship between the eye blink rate and the attention level of students captured during online sessions. The experimental framework is carried out using a public multimodal database for eye blink detection and attention level estimation called mEBAL, which comprises data from 38 students and multiples acquisition sensors, in particular, i) an electroencephalogram (EEG) band which provides the time signals coming from the student's cognitive information, and ii) RGB and NIR cameras to capture the students face gestures. The results achieved suggest an inverse correlation between the eye blink frequency and the attention level. This relation is used in our proposed method called ALEBk for estimating the attention level as the inverse of the eye blink frequency. Our results open a new research line to introduce this technology for attention level estimation on future e-learning platforms, among other applications of this kind of behavioral biometrics based on face analysis.

연구 동기 및 목표

• e-러닝 환경에서 눈 깜빡임 빈도를 활용한 주의 수준 추정의 가능성을 탐구하기.
• 실제 e-러닝 상황에서 적용 가능한 강력한 딥러닝 기반 눈 깜빡임 검출 시스템을 개발하기.
• mEBAL 데이터베이스의 다중모달 데이터를 활용하여 눈 깜빡임 빈도와 인지적 주의 수준 간의 상관관계를 평가하기.
• e-러닝 플랫폼에 통합 가능한 실용적인 주의 수준 추정 프레임워크(ALEBk)를 눈 깜빡임 빈도 기반으로 제안하기.
• 원격 교육 시스템 향상에 기여할 수 있는 눈 깜빡임 기반 행동 생체정보의 잠재력을 탐색하기.

제안 방법

• mEBAL 데이터베이스의 RGB 및 근적외선(NIR) 영상에서 CNN 기반 눈 깜빡임 검출 모델을 새로 학습한다.
• 눈 깜빡임 검출 파이프라인은 얼굴 검출, 안면 특징점 위치 추정, 얼굴 정렬 및 영상 프레임에서의 관심 영역(ROI) 추출을 포함한다.
• 주의 수준 추정은 눈 깜빡임 빈도의 역수로 모델링되며, 높음과 낮음 주의 상태를 분류하기 위해 임계값을 설정한다.
• 이 방법은 EEG 신호와 다중 센서에서 촬영한 영상 기록을 포함한 mEBAL 데이터베이스의 다중모달 데이터를 활용한다.
• 다양한 주의 수준 임계값 설정에서 정확도, 동등 오류 비율(EER), 그리고 오류 수용/기각 비율을 사용하여 분류 성능을 평가한다.
• ALEBk 방법은 mEBAL 및 HUST-LEBW 두 데이터셋에서 검증되어 실제 환경 조건에서의 일반화 능력과 강건성을 입증한다.

실험 결과

연구 질문

• RQ1 원격 e-러닝 세션에서 눈 깜빡임 빈도와 주의 수준 간에 통계적으로 유의미한 반비례 상관관계가 존재하는가?
• RQ2 CNN 기반 눈 깜빡임 검출 시스템이 제약 조건이 없는, 실제 환경 기반 e-러닝 환경에서 높은 성능을 달성할 수 있는가?
• RQ3 눈 깜빡임 빈도로 얼마나 신뢰성 있게 e-러닝 환경에서 높음과 낮음 주의 상태를 분류할 수 있는가?
• RQ4 주의 수준 분류를 위한 다양한 임계값 설정에서 ALEBk 방법의 성능은 어떻게 변화하는가?
• RQ5 눈 깜빡임 빈도는 실시간 주의 모니터링을 위한 실용적이고 저비용의 행동 생체정보로 활용될 수 있는가?

주요 결과

• 눈 깜빡임 빈도와 주의 수준 간에 유의미한 반비례 상관관계가 관찰되었으며, 낮은 눈 깜빡임 빈도일수록 높은 주의 수준을 나타냈다.
• 10%-90% 주의 수준 임계값을 사용할 경우, 제안된 ALEBk 방법이 높음과 낮음 주의 기간을 구분하는 데 최대 74.47%의 분류 정확도를 달성하였다.
• 가장 높은 정확도는 낮은 주의 수준에 대한 최소 임계값(10%) 설정에서 확보되었으며, 이는 극단적인 주의 상태 간의 분리 능력 향상을 시사한다.
• 거짓 경고율과 거짓 기각률이 균형을 이루는 운영 지점(EER)에서 메서드는 70.21%의 정확도를 확보하여 실용적 가능성을 확인하였다.
• ALEBk 눈 깜빡임 검출 모델은 mEBAL 및 HUST-LEBW 데이터셋 양쪽에서 최신 기술 수준의 방법들을 초월하여 뛰어난 성능을 보였으며, 실제 환경에서의 강건성과 일반화 능력을 입증하였다.
• 확률 밀도 분포 분석 결과, $ au_L$ 값이 낮을수록 높음과 낮음 주의 상태 간의 분리가 더 명확하게 나타나, 극단적인 주의 수준의 탐지 가능성 향상을 확인하였다.