[논문 리뷰] Automatic Recognition of Student Engagement using Deep Learning and Facial Expression

Omid Mohamad Nezami, Mark Dras외 4명|arXiv (Cornell University)|2018. 08. 07.

Emotion and Mood Recognition인용 수 6

한 줄 요약

이 논문은 학생의 참여도를 자동으로 인식하기 위한 딥러닝 모델을 제안한다. 얼굴 표정을 기반으로 하며, 일반적인 얼굴 표정 데이터(FER-2013)를 사전 훈련하여 참여도 인식에서의 데이터 부족 문제를 해결한다. 제안된 '참여도 모델'은 새로운 4,627개 샘플로 구성된 데이터셋에서 72.38%의 정확도, 73.90%의 F1 점수, 73.74%의 AUC를 기록하여, CNN, VGGNet, HOG+SVM 기반 모델보다 각각 6%, 3%, 10% 이상 뛰어나다.

ABSTRACT

Engagement is a key indicator of the quality of learning experience, and one that plays a major role in developing intelligent educational interfaces. Any such interface requires the ability to recognise the level of engagement in order to respond appropriately; however, there is very little existing data to learn from, and new data is expensive and difficult to acquire. This paper presents a deep learning model to improve engagement recognition from images that overcomes the data sparsity challenge by pre-training on readily available basic facial expression data, before training on specialised engagement data. In the first of two steps, a facial expression recognition model is trained to provide a rich face representation using deep learning. In the second step, we use the model's weights to initialize our deep learning based model to recognize engagement; we term this the engagement model. We train the model on our new engagement recognition dataset with 4627 engaged and disengaged samples. We find that the engagement model outperforms effective deep learning architectures that we apply for the first time to engagement recognition, as well as approaches using histogram of oriented gradients and support vector machines.

연구 동기 및 목표

• 교육 현장에서의 학생 참여도 인식을 위한 레이블이 부족한 문제를 해결하기 위해.
• 일반적인 얼굴 표정 데이터에서 풍부한 얼굴 표현을 추출하여 참여도 인식 성능을 향상시키는 딥러닝 모델을 개발하기 위해.
• 행동적 및 정서적 참여 차원을 모두 반영한 심리학적으로 설계된 새로운 데이터셋(ER 데이터셋)을 구축하기 위해.
• 딥 네트워크를 활용한 기본 얼굴 표정 인식에서 참여도 인식으로의 전이 학습의 효과를 입증하기 위해.

제안 방법

• 기본 감정을 위한 풍부한 얼굴 표현을 학습하기 위해 FER-2013 데이터셋에서 컨볼루션 신경망(CNN)을 사전 훈련한다.
• 사전 훈련된 모델 가중치를 활용해 참여도 인식에 특화된 새로운 딥러닝 모델을 초기화하기 위해 미세조정(fine-tuning)을 수행한다. 이를 '참여도 모델'이라 칭한다.
• 행동적 및 정서적 차원으로 분리된 레이블이 부여된 4,627장의 이미지로 구성된 신규 수집 데이터셋을 사용해 참여도 모델을 훈련한다.
• 더 큰 얼굴 표정 데이터셋에서 학습한 특징을 활용하여, 작은 참여도 전용 데이터셋에서의 성능을 향상시키기 위해 전이 학습을 적용한다.
• 정확도, F1 점수, AUC와 같은 표준 지표를 사용해 HOG+SVM, 표준 CNN, VGGNet 기반 모델과의 성능을 비교 평가한다.
• 특히 시각적 변동성이 높은 이질적인 표정을 보이는 이탈 상태 샘플에 대한 성능을 분석하기 위해 혼동 행렬을 분석한다.

실험 결과

연구 질문

• RQ1 제한된 레이블이 부여된 참여도 데이터가 존재하는 상황에서도, 일반적인 얼굴 표정 데이터를 사전 훈련하여 참여도 인식 성능 향상이 가능한가?
• RQ2 얼굴 표정 특징에서 유도된 딥러닝 모델의 미세조정이, 기존의 수작업 특징 추출 방식(HOG 등)과 표준 CNN보다 참여도 인식에서 더 우수한 성능을 낼 수 있는가?
• RQ3 이질적인 표정과 자세의 변동성이 높은 이탈 상태를 구분하는 데에 제안된 모델의 효과는 어떠한가?
• RQ4 행동적 및 정서적 차원을 모두 반영한 双중 레이블링 방식이 참여도 레이블링의 신뢰성과 해석 가능성에 얼마나 기여하는가?

주요 결과

• 참여도 모델은 테스트 세트에서 72.38%의 분류 정확도를 기록하여, 이어지는 최고 성능 모델(CNN)보다 6% 이상 뛰어나고, HOG+SVM보다 12.5% 높았다.
• 모델은 73.90%의 F1 점수를 기록하여, 딥 라이브러리 기반 모델보다 3% 향상되었고, HOG+SVM보다 6% 향상되었다.
• AUC 지표에서 참여도 모델은 73.74%를 기록하여, CNN 및 VGGNet 모델보다 5% 향상되었고, HOG+SVM보다 10% 향상되었다.
• 참여도 모델은 이탈 상태 샘플을 식별하는 데 60.42%의 정밀도를 보였으며, HOG+SVM 대비 27% 향상되어 복잡한 시각적 변동성에 대한 강점을 입증했다.
• 혼동 행렬 분석을 통해 딥 모델, 특히 참여도 모델이 다양한 얼굴 표정과 자세적 신호를 포괄할 수 있는 능력 덕분에 이탈 상태를 더 효과적으로 인식하는 것으로 확인되었다.
• 본 연구는 일반적인 얼굴 표정 데이터에서의 전이 학습이 데이터가 적은 환경에서 참여도 인식 성능 향상에 매우 효과적인 전략임을 입증한다.