[논문 리뷰] Learning to Augment Expressions for Few-shot Fine-grained Facial Expression Recognition

Wenxuan Wang, Yanwei Fu외 8명|arXiv (Cornell University)|2020. 01. 17.

Face recognition and analysis참고 문헌 69인용 수 11

한 줄 요약

이 논문은 54개의 카테고리와 219,719장의 이미지를 포함하는 대규모로 세밀한 얼굴 표정 데이터셋 F²ED를 소개하고, 표정과 자세를 별도로 제어하여 고품질의 신원 유지를 고려한 얼굴 이미지를 생성하는 구성적 GAN 프레임워크인 Comp-GAN을 제안한다. 이 방법은 소수의 샘플만으로도 표정 인식 성능을 크게 향상시켜, 새로운 클래스당 훈련 이미지가 하나뿐인 조건에서 ER-FE 설정에서 평균 정확도 44.19%를 달성한다.

ABSTRACT

Affective computing and cognitive theory are widely used in modern human-computer interaction scenarios. Human faces, as the most prominent and easily accessible features, have attracted great attention from researchers. Since humans have rich emotions and developed musculature, there exist a lot of fine-grained expressions in real-world applications. However, it is extremely time-consuming to collect and annotate a large number of facial images, of which may even require psychologists to correctly categorize them. To the best of our knowledge, the existing expression datasets are only limited to several basic facial expressions, which are not sufficient to support our ambitions in developing successful human-computer interaction systems. To this end, a novel Fine-grained Facial Expression Database - F2ED is contributed in this paper, and it includes more than 200k images with 54 facial expressions from 119 persons. Considering the phenomenon of uneven data distribution and lack of samples is common in real-world scenarios, we further evaluate several tasks of few-shot expression learning by virtue of our F2ED, which are to recognize the facial expressions given only few training instances. These tasks mimic human performance to learn robust and general representation from few examples. To address such few-shot tasks, we propose a unified task-driven framework - Compositional Generative Adversarial Network (Comp-GAN) learning to synthesize facial images and thus augmenting the instances of few-shot expression classes. Extensive experiments are conducted on F2ED and existing facial expression datasets, i.e., JAFFE and FER2013, to validate the efficacy of our F2ED in pre-training facial expression recognition network and the effectiveness of our proposed approach Comp-GAN to improve the performance of few-shot recognition tasks.

연구 동기 및 목표

• 기존의 얼굴 표정 데이터셋에서의 자료 부족과 다양성 부족 문제, 특히 세밀하고 미묘한 표정에 대해 해결하고자 한다.
• 최소한의 레이블이 부여된 훈련 데이터로도 강력한 얼굴 표정 인식이 가능한 소수의 표본 학습 프레임워크를 개발하고자 한다.
• 부족한 표현 카테고리의 보완을 위해 현실적이고 신원을 유지하는 얼굴 이미지를 생성하고자 한다.
• 제안된 데이터셋과 생성 프레임워크가 실제 세계의 소수의 표본 인식 벤치마크에서 효과적으로 작용하는지 검증하고자 한다.

제안 방법

• 54개의 세밀한 얼굴 표정 카테고리, 119명의 주체, 4가지 자세, 총 219,719장의 이미지를 포함하는 제어 가능한 대규모 데이터셋 F²ED를 제안한다. 심리학 전문가의 평가를 통해 레이블링이 이루어졌다.
• 표정 편집과 자세 수정을 위한 두 개의 분리된 생성기로 구성된 통합된 생성 적대적 네트워크인 Comp-GAN을 설계한다.
• 생성기는 참조 이미지를 기반으로 조건부로 이미지를 생성하여, 신원은 유지하면서 표정과 자세를 독립적으로 변경한다.
• 실제성과 신원 유지 보장을 위해 적대적 손실, 신원 일관성 손실, 인지적 손실을 포함한 조건부 GAN 아키텍처를 활용한다.
• 엔드 투 엔드로 모델을 훈련시켜 소수의 표본 학습 환경에서 다양하고 고해상도의 이미지를 합성하여 데이터 증강을 수행한다.
• 기존의 데이터셋(FER2013 및 JAFFE)에 대해 사전 훈련된 모델을 미세조정하여 이식성과 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 54개의 카테고리를 포함하는 대규모로 세밀한 얼굴 표정 데이터셋 F²ED는 얼굴 표정 인식 데이터셋의 다양성과 현실성에 크게 기여할 수 있는가?
• RQ2 Comp-GAN은 표정과 자세를 수정하면서도 신원을 유지하는 현실적인 얼굴 이미지를 얼마나 효과적으로 생성하는가?
• RQ3 Comp-GAN을 통한 데이터 증강은 소수의 표본 얼굴 표정 인식 성능을 어느 정도 향상시키는가?
• RQ4 F²ED에서 사전 훈련된 모델은 FER2013 및 JAFFE와 같은 기존 벤치마크 데이터셋에서 이식 성능을 향상시키는가?
• RQ5 표정과 자세의 분리된 생성 방식은 소수의 표본 인식 모델의 일반화 능력과 안정성에 어떤 기여를 하는가?

주요 결과

• Comp-GAN은 새로운 클래스당 훈련 이미지가 하나뿐인 ER-FE 소수의 표본 설정에서 평균 정확도 44.19%를 달성하여 기준 모델인 LightCNN보다 5.25%p 높은 성능을 보였다.
• 자세와 표정 생성의 조합(LightCNN + G(Pose) + G(Exp))가 가장 뛰어난 성능을 보였으며, LightCNN 단독 대비 4.95%p 향상되었다.
• 클래스당 10장의 이미지를 생성하면 정확도가 44.19%로 상승하고, 1,000장으로 증가시킬 경우 k=5 조건에서 정확도가 57.14%로 상승하여 강력한 확장성 잠재력을 보였다.
• t-SNE 시각화 결과, 생성된 이미지가 동일한 신원의 원본 이미지와 밀집되어 있음을 확인하여 효과적인 신원 유지가 이루어졌음을 입증했다.
• F²ED에서 사전 훈련된 모델은 FER2013 및 JAFFE 데이터셋으로도 잘 일반화되어 있어, 데이터셋의 사전 훈련 가치를 입증했다.
• 유사한 GAN 방법인 AttGAN은 동일한 설정에서 40.14%의 정확도를 기록하여, Comp-GAN의 우월성을 확인했다.