[논문 리뷰] Affect-driven Engagement Measurement from Videos

Ali Abedi, Shehroz S. Khan|arXiv (Cornell University)|2021. 01. 01.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 7인용 수 10

한 줄 요약

이 논문은 연속적인 밸런스와 각성 상태를 갖는 정서 상태, 새로운 잠재 정서 특징 벡터, 행동 특징을 포함한 영상 기반의 참여도 측정 방법을 제안한다. 이는 시간적 특성(딥 러닝)과 비시간적 특성(기존 머신러닝) 모델을 결합한 것이다. DAiSEE 및 EmotiW 데이터셋에서 평가한 결과, 참여도 분류 작업에서 최고 성능인 63.3%의 정확도와 회귀 분석의 MSE 0.0673을 달성하여 정서 특징이 참여도 예측에 효과적임을 입증한다.

ABSTRACT

In education and intervention programs, person's engagement has been identified as a major factor in successful program completion. Automatic measurement of person's engagement provides useful information for instructors to meet program objectives and individualize program delivery. In this paper, we present a novel approach for video-based engagement measurement in virtual learning programs. We propose to use affect states, continuous values of valence and arousal extracted from consecutive video frames, along with a new latent affective feature vector and behavioral features for engagement measurement. Deep learning-based temporal, and traditional machine-learning-based non-temporal models are trained and validated on frame-level, and video-level features, respectively. In addition to the conventional centralized learning, we also implement the proposed method in a decentralized federated learning setting and study the effect of model personalization in engagement measurement. We evaluated the performance of the proposed method on the only two publicly available video engagement measurement datasets, DAiSEE and EmotiW, containing videos of students in online learning programs. Our experiments show a state-of-the-art engagement level classification accuracy of 63.3% and correctly classifying disengagement videos in the DAiSEE dataset and a regression mean squared error of 0.0673 on the EmotiW dataset. Our ablation study shows the effectiveness of incorporating affect states in engagement measurement. We interpret the findings from the experimental results based on psychology concepts in the field of engagement.

연구 동기 및 목표

• 가상 학습 환경에서 영상 데이터를 활용한 자동 참여도 측정을 향상시키기 위해.
• 지속적인 정서 상태(밸런스 및 각성)가 참여도 예측에 기여하는 방식을 조사하기 위해.
• 시간적(딥 러닝) 및 비시간적(기존 머신러닝) 모델을 개발하고 참여도 분류 및 회귀에 대해 평가하기 위해.
• 더 나은 일반화 및 개인정보 보호를 위해 탈중앙화된 피어드 학습 환경에서의 모델 개인화를 탐색하기 위해.
• 재현 가능성과 기준 설정을 보장하기 위해 공개된 데이터셋인 DAiSEE 및 EmotiW에서 방법을 검증하기 위해.

제안 방법

• 딥 러닝 기반의 얼굴 분석을 통해 연속된 영상 프레임에서 연속적인 밸런스 및 각성 점수를 추출한다.
• 밸런스 및 각성의 시간적 패턴과 행동 자극을 조합하여 새로운 잠재 정서 특징 벡터를 구성한다.
• 참여도의 시간적 동적 특성을 포착하기 위해 프레임 수준의 특징을 기반으로 딥 러닝 모델을 훈련시킨다.
• 비시간적 참여도 예측을 위해 영상 수준의 특징을 기반으로 기존 머신러닝 모델을 훈련시킨다.
• 모델 개인화를 가능하게 하기 위해 피어드 학습 프레임워크에 방법을 구현한다.
• 표준 평가 지표를 사용한다: DAiSEE의 경우 분류 정확도, EmotiW의 경우 평균 제곱 오차(MSE)

실험 결과

연구 질문

• RQ1 연속적인 정서 상태(밸런스 및 각성)는 영상 기반 학습 환경에서 참여도 측정을 향상시키는 데 어떻게 기여하는가?
• RQ2 기본 특징 대비 새로운 잠재 정서 특징 벡터를 사용할 경우의 성능 향상 정도는 어떠한가?
• RQ3 딥 러닝 기반의 시간적 모델과 기존 머신러닝 모델 간의 영상 수준 참여도 예측 성능는 어떻게 비교되는가?
• RQ4 탈중앙화된 피어드 학습 환경에서의 모델 개인화가 참여도 측정 정확도 향상에 얼마나 기여하는가?
• RQ5 제안된 방법은 DAiSEE 및 EmotiW와 같은 벤치마크 데이터셋에서 최고 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 DAiSEE 데이터셋에서 참여도 분류 정확도 63.3%를 기록하여 이전의 접근 방식보다 뚜렷이 뛰어난 최고 성능을 달성한다.
• EmotiW 데이터셋에서의 회귀 기반 참여도 예측에 대해, 방법은 평균 제곱 오차(MSE) 0.0673을 달성하여 높은 예측 정확도를 보였다.
• 절단 실험 결과, 정서 상태(밸런스 및 각성)를 통합할 경우 참여도 측정 성능 향상이 뚜렷하게 확인되었다.
• 피어드 학습 구현은 개인화 기능을 갖춘 탈중앙화된 훈련의 가능성을 입증하였으며, 데이터 프라이버시를 유지하면서도 높은 성능을 유지하였다.
• 심리학적 이론을 기반으로 결과를 해석함으로써, 방법이 인간의 행동 및 정서적 동역학과 잘 부합함을 검증하였다.
• 정서적 특징과 행동적 특징의 조합은 단독으로 사용할 경우보다 더 강력하고 정확한 참여도 추정을 가능하게 하였다.