[논문 리뷰] A Fine-Grained Facial Expression Database for End-to-End Multi-Pose Facial Expression Recognition

Wenxuan Wang, Qiang Sun외 6명|arXiv (Cornell University)|2019. 07. 25.

Emotion and Mood Recognition참고 문헌 31인용 수 11

한 줄 요약

이 논문은 54개의 미세한 감정과 4가지 자세를 포함한 200만张 이상의 이미지를 가진 대규모 얼굴 표정 데이터셋 F²ED를 소개하고, 엔드 투 엔드 얼굴 표정 인식 성능을 향상시키기 위해 FaPE-GAN 기반의 데이터 증강 프레임워크를 제안한다. 이 방법은 네 가지 새로운 학습 과제—감독 학습, 비균형 표정, 비균형 자세, 제로샷 주체 식별—에서 최신 기술 수준의 성능을 달성하며, GAN을 통한 데이터 증강이 도전적인 데이터 분포 하에서 모델의 일반화 능력을 크게 향상시킨다는 것을 입증한다.

ABSTRACT

The recent research of facial expression recognition has made a lot of progress due to the development of deep learning technologies, but some typical challenging problems such as the variety of rich facial expressions and poses are still not resolved. To solve these problems, we develop a new Facial Expression Recognition (FER) framework by involving the facial poses into our image synthesizing and classification process. There are two major novelties in this work. First, we create a new facial expression dataset of more than 200k images with 119 persons, 4 poses and 54 expressions. To our knowledge this is the first dataset to label faces with subtle emotion changes for expression recognition purpose. It is also the first dataset that is large enough to validate the FER task on unbalanced poses, expressions, and zero-shot subject IDs. Second, we propose a facial pose generative adversarial network (FaPE-GAN) to synthesize new facial expression images to augment the data set for training purpose, and then learn a LightCNN based Fa-Net model for expression classification. Finally, we advocate four novel learning tasks on this dataset. The experimental results well validate the effectiveness of the proposed approach.

연구 동기 및 목표

• 미세한 감정 변화와 다양한 자세를 포함한 대규모 고품질 얼굴 표정 데이터셋의 부족 문제를 해결하기 위해.
• 비균형 표정 분포, 비균형 자세 분포, 제로샷 주체 식별이 얼굴 표정 인식 성능에 미치는 영향을 조사하기 위해.
• 실제 FER 응용에서 어려운 데이터 분포 변화에 일반화할 수 있는 강력한 엔드 투 엔드 딥 러닝 프레임워크를 개발하기 위해.
• 데이터 부족 및 비균형 조건에서 GAN 기반 데이터 증강이 모델 성능 향상에 얼마나 효과적인지 검증하기 위해.

제안 방법

• 119명의 주체에서 온 200만 장 이상의 이미지를 포함한 F²ED라는 새로운 데이터셋을 구축하였으며, 54개의 미세한 감정과 4가지 얼굴 자세(전면, 반좌측, 반우측, 조감도)로 레이블링하였다.
• 자세와 감정 레이블을 조건으로 하여 다양한 얼굴 표정 이미지를 합성하는, 얼굴 자세 생성 적대적 네트워크(FaPE-GAN)를 제안하였다.
• 증강된 F²ED 데이터셋을 기반으로 엔드 투 엔드로 훈련된 LightCNN 기반 분류 네트워크(Fa-Net)를 설계하여 표정 인식을 수행하였다.
• 표준 감독 학습(ER-SS), 비균형 표정(ER-UE), 비균형 자세(ER-UP), 제로샷 주체 식별(ER-ZID)의 네 가지 새로운 학습 과제를 구현하였다.
• FER2013 및 JAFFE 데이터셋에서 미리 훈련된 Fa-Net을 Fine-tuning하여 일반화 능력을 평가하기 위해 전이 학습을 적용하였다.
• 특히 자원이 부족하고 비균형적인 학습 환경에서의 모델 강건성 향상을 위해 FaPE-GAN을 통한 데이터 증강을 구현하였다.

실험 결과

연구 질문

• RQ1 표정과 자세 간의 데이터 비균형이 얼굴 표정 인식 모델의 성능에 어떤 영향을 미치는가?
• RQ2 GAN 기반 데이터 증강이 자원이 부족하고 비균형적인 학습 환경에서 모델의 일반화 능력을 효과적으로 향상시킬 수 있는가?
• RQ3 훈련 중에 볼 수 없었던 제로샷 주체 식별에 대해, 대규모이고 미세한 감정 데이터셋으로 훈련된 모델이 얼마나 일반화될 수 있는가?
• RQ4 자세를 분리된 특성으로 포함함으로써, 다양한 시야각에서의 표정 인식의 강건성이 얼마나 향상되는가?

주요 결과

• Fa-Net 모델은 F²ED 데이터셋을 사용하여 표준 감독 학습 과제(ER-SS)에서 73.6%의 정확도를 달성하였으며, 이는 데이터셋의 품질과 훈련에 적합함을 입증한다.
• FaPE-GAN 기반의 데이터 증강은 ER-SS 과제에서 정확도를 0.9% 향상시켜, FER에 대한 데이터 증강의 효과성을 확인한다.
• 비균형 표정 과제(ER-UE)에서 데이터 증강을 통해 정확도가 30.8%에서 34.3%로 향상되어 3.5% 향상되었으며, 이는 균형 잡힌 설정보다 더 큰 향상이다.
• 비균형 자세 과제(ER-UP)에서는 정확도가 36.3%에서 39.9%로 향상되어 3.6% 향상되었으며, 이는 자세 비균형 조건에서도 효과적임을 시사한다.
• 가장 도전적인 제로샷 ID 과제(ER-ZID)에서는 7.1%의 정확도(무작위 확률 1.9% 대비)를 기록하였고, FaPE-GAN에 의해 0.4% 향상되었으며, 이는 제로샷 일반화에서의 유용성을 입증한다.
• 미리 훈련된 Fa-Net을 FER2013 및 JAFFE 데이터셋에서 Fine-tuning한 결과 강력한 성능을 기록하여, F²ED 기반 표현의 일반화 및 이식 가능성(transferability)을 확인한다.