[논문 리뷰] Deep Learning for Domain Adaption: Engagement Recognition.

Omid Mohamad Nezami, Len Hamey외 2명|arXiv (Cornell University)|2018. 08. 07.

Emotion and Mood Recognition참고 문헌 4인용 수 5

한 줄 요약

이 논문은 교육적 맥락에서의 참여도 인식을 위한 딥 트랜스퍼 러닝 접근법을 제안한다. 참여도 전용 데이터가 제한되어 있으므로 얼굴 표정 데이터로 사전 훈련하여 이를 보완한다. 제안된 방법은 기존의 SVM 및 HOG+SVM 기반 기준 모델들보다 뛰어난 성능을 보이며, 4,627개의 참여도 샘플로 구성된 새로운 데이터셋에서 검증되었다.

ABSTRACT

Engagement is a key indicator of the quality of learning experience, and one that plays a major role in developing intelligent educational interfaces. Any such interface requires the ability to recognise the level of engagement in order to respond appropriately; however, there is very little existing data to learn from, and new data is expensive and difficult to acquire. This paper presents a deep learning model to improve engagement recognition from images that overcomes the data sparsity challenge by pre-training on readily available basic facial expression data, before training on specialised engagement data. In the first of two steps, a facial expression recognition model is trained to provide a rich face representation using deep learning. In the second step, we use the model's weights to initialize our deep learning based model to recognize engagement; we term this the engagement model. We train the model on our new engagement recognition dataset with 4627 engaged and disengaged samples. We find that the engagement model outperforms effective deep learning architectures that we apply for the first time to engagement recognition, as well as approaches using histogram of oriented gradients and support vector machines.

연구 동기 및 목표

• 교육적 맥락에서 참여도 인식을 위한 레이블이 부족한 문제를 해결하기 위해.
• 자료 부족 상황에서도 딥 러닝을 활용해 참여도 인식 정확도를 향상시키기 위해.
• 참여도 분류를 위해 강력한 얼굴 표현을 추출하기 위해 얼굴 표정 데이터로 사전 훈련하는 것을 활용하기 위해.
• 참여도 인식을 위해 특화된 새로운 딥 러닝 모델을 개발하고 평가하기 위해.

제안 방법

• 공개된 얼굴 표정 데이터셋을 활용해 딥 신경망을 사전 훈련하여 일반적인 얼굴 특징 표현을 학습하기 위해.
• 사전 훈련된 모델의 가중치를 활용해 참여도 인식을 위한 새로운 딥 러닝 모델을 초기화하기 위해.
• 새로가져온 4,627장의 이미지로 구성된 데이터셋(참여 또는 비참여로 레이블링)을 사용해 참여도 특화 모델을 훈련하기 위해.
• 일반적인 얼굴 표현을 참여도 인식이라는 특정 작업에 적응시키기 위해 트랜스퍼 러닝을 적용하기 위해.
• 기존의 HOG + SVM과 같은 전통적 방법 및 다른 딥 러닝 아키텍처와의 성능 비교를 위해 모델을 평가하기 위해.
• 분류를 위해 계층적인 얼굴 특징을 추출하기 위해 컨volutional 네트워크를 사용한 엔드 투 엔드 학습을 적용하기 위해.

실험 결과

연구 질문

• RQ1 제한된 레이블 데이터 상황에서 얼굴 표정 데이터로 사전 훈련하면 참여도 인식 성능이 향상되는가?
• RQ2 표현 인식에서 유래한 트랜스퍼 러닝이 참여도 검출 정확도를 어떻게 향상시키는가?
• RQ3 제안된 딥 러닝 모델이 참여도 인식에서 기존의 HOG + SVM과 같은 전통적 방법보다 뛰어난가?
• RQ4 기존의 특징 추출 기법에 비해 도메인 적응된 딥 특징을 사용할 경우 성능 향상은 어느 정도인가?
• RQ5 제한된 데이터 환경에서 트랜스퍼 러닝 전략이 참여도 인식에 얼마나 효과적인가?

주요 결과

• 제안된 참여도 모델은 기존의 HOG + SVM 및 다른 딥 러닝 아키텍처보다 뛰어난 성능을 보였다.
• 얼굴 표정 데이터로 사전 훈련하는 것이 참여도 인식 작업의 성능을 크게 향상시켰다.
• 새로운 4,627개 레이블 샘플로 구성된 데이터셋에서 최신 기술 수준의 성능를 달성했다.
• 트랜스퍼 러닝은 관련 작업에서의 풍부한 표현을 활용함으로써 데이터 부족 문제를 효과적으로 완화시켰다.
• 참여도 전용 훈련 데이터가 제한되어 있음에도 불구하고 강력한 일반화 능력을 보였다.
• 표현 데이터에서 학습된 딥 특징을 참여도 인식에 활용하는 것이 효과적임을 확인했다.