[논문 리뷰] Deep-Emotion: Facial Expression Recognition Using Attentional Convolutional Network

Shervin Minaee, AmirAli Abdolrashidi|arXiv (Cornell University)|2019. 02. 03.

Emotion and Mood Recognition인용 수 85

한 줄 요약

주의집중 CNN과 공간 변환기를 도입하여 중요한 얼굴 영역에 초점을 맞추고, FER2013, CK+, JAFFE, FERG 데이터세트에서 강력한 FER 성능을 달성한다.

ABSTRACT

Facial expression recognition has been an active research area over the past few decades, and it is still challenging due to the high intra-class variation. Traditional approaches for this problem rely on hand-crafted features such as SIFT, HOG and LBP, followed by a classifier trained on a database of images or videos. Most of these works perform reasonably well on datasets of images captured in a controlled condition, but fail to perform as good on more challenging datasets with more image variation and partial faces. In recent years, several works proposed an end-to-end framework for facial expression recognition, using deep learning models. Despite the better performance of these works, there still seems to be a great room for improvement. In this work, we propose a deep learning approach based on attentional convolutional network, which is able to focus on important parts of the face, and achieves significant improvement over previous models on multiple datasets, including FER-2013, CK+, FERG, and JAFFE. We also use a visualization technique which is able to find important face regions for detecting different emotions, based on the classifier's output. Through experimental results, we show that different emotions seems to be sensitive to different parts of the face.

연구 동기 및 목표

• 얼굴 표정 인식(FER)에서 클래스 내 높은 변동성에 대응.
• 주의집중을 활용해 감정 탐지를 위한 중요한 얼굴 영역에 초점.
• 얕은 네트워크가 처음부터 학습되더라도 FER 작업에서 더 깊은 모델보다 성능이 우수할 수 있음을 보여준다.
• 모델 의사결정을 해석하기 위한 주목된 얼굴 영역의 시각화를 제공한다.

제안 방법

• 특징 추출 및 분류를 위한 네 개의 합성곱 층, 맥스풀링, ReLU, 드롭아웃, 그리고 두 개의 완전연결층으로 구성된 엔드투엔드 주의집중 합성곱 네트워크.
• 중요 영역에 주의를 기울이도록 아핀 변환 T(θ)를 추정하고 입력을 왜곡하기 위한 로케라이제이션 모듈로 공간 변환기 네트워크를 도입.
• 확률적 최적화(Adam)를 통한 학습과 손실 L_overall = L_classifier + λ||w(fc)||^2 및 데이터 증강.
• 데이터셋별로 별도의 모델을 학습하여 데이터셋 고유의 변이와 제한된 데이터 규모를 처리.

실험 결과

연구 질문

• RQ1 주의집중 CNN이 표준 FER 벤치마크에서 더 깊은 네트워크보다 더 나은 성능을 보이는가?
• RQ2 모델에 따라 어떤 얼굴 영역이 서로 다른 감정을 탐지하는 데 가장 중요한가?
• RQ3 제안된 방법이 FER2013, CK+, JAFFE, FERG 데이터세트에서 어떻게 수행되는가?
• RQ4 작은 FER 데이터세트에서 주의집중으로 처음부터 학습하는 것이 미치는 영향은 무엇인가?

주요 결과

• FER2013 테스트 정확도 약 70.02%.
• JAFFE 데이터세트 정확도 약 92.8%.
• CK+ 데이터세트 정확도 약 98.0%.
• FERG 데이터세트 정확도 약 99.3%.
• 시각화는 감정별로 특정한 주된 영역을 보여주며(예: 행복은 입, 분노는 눈과 눈썹), 이미지 간 변화를 언급한다.