[논문 리뷰] Emotion Separation and Recognition from a Facial Expression by Generating the Poker Face with Vision Transformers

Jia Li, Jiantao Nie외 3명|arXiv (Cornell University)|2022. 07. 22.

Emotion and Mood Recognition인용 수 4

한 줄 요약

이 논문은 쌍화되지 않은 데이터 없이 감정을 표정에서 분리하는 PF-ViT를 제안한다. 이는 포커 패스트(감정 없는 얼굴)를 생성함으로써 이루어지며, 마스킹된 오토인코더 사전학습과 적대적 학습을 통해 네 가지 실외 FER 벤치마크에서 최신 기술 성능을 달성한다. 각각 RAF-DB에서 92.07%, AffectNet-7에서 67.23%, AffectNet-8에서 64.10%, FERPlus에서 91.16%의 정확도를 기록한다.

ABSTRACT

Representation learning and feature disentanglement have garnered significant research interest in the field of facial expression recognition (FER). The inherent ambiguity of emotion labels poses challenges for conventional supervised representation learning methods. Moreover, directly learning the mapping from a facial expression image to an emotion label lacks explicit supervision signals for capturing fine-grained facial features. In this paper, we propose a novel FER model, named Poker Face Vision Transformer or PF-ViT, to address these challenges. PF-ViT aims to separate and recognize the disturbance-agnostic emotion from a static facial image via generating its corresponding poker face, without the need for paired images. Inspired by the Facial Action Coding System, we regard an expressive face as the combined result of a set of facial muscle movements on one's poker face (i.e., an emotionless face). PF-ViT utilizes vanilla Vision Transformers, and its components are firstly pre-trained as Masked Autoencoders on a large facial expression dataset without emotion labels, yielding excellent representations. Subsequently, we train PF-ViT using a GAN framework. During training, the auxiliary task of poke face generation promotes the disentanglement between emotional and emotion-irrelevant components, guiding the FER model to holistically capture discriminative facial details. Quantitative and qualitative results demonstrate the effectiveness of our method, surpassing the state-of-the-art methods on four popular FER datasets.

연구 동기 및 목표

• 표현 인식 데이터셋의 모호성과 노이즈 문제를 해결하기 위해 감정을 관련이 없는 얼굴 변화로부터 분리한다.
• 개인정보, 자세, 조명에 민감하고 얼굴 세부 정보에 대한 명시적 지도 학습이 부족한 지도 학습 기반 FER 방법의 한계를 극복한다.
• 마스킹된 오토인코더를 통한 자기지도 사전학습을 활용해 레이블이 없는 얼굴 이미지만으로도 감정 표현을 엔드 투 엔드로 학습할 수 있도록 한다.
• 감정 분류와 현실적인 포커 패스트 생성을 동시에 수행하는 통합 프레임워크를 개발하여 정교성과 분리성 향상을 도모한다.
• 기본적인 비디오 트랜스포머가 대규모 사전학습 데이터나 하이브리드 아키텍처 없이도 최신 기술 성능을 달성할 수 있음을 입증한다.

제안 방법

• 대규모 레이블이 없는 표정 데이터셋에서 비디오 트랜스포머를 마스킹된 오토인코더(MAE)로 사전학습하여 강력하고 일반화 가능한 표현을 학습한다.
• 기존의 인코더, 토큰 분리기, 생성기, 판별기, 분류 헤드로 구성된 새로운 아키텍처인 PF-ViT를 설계한다.
• 인코더를 통해 얼굴 이미지를 잠재 표현으로 매핑하고, 이 표현을 감정 특화 성분과 정규직교된 감정 무관 잔여 성분으로 분리한다.
• 생성기를 통해 원본 표정 있는 얼굴을 재구성하고, 감정 무관 성분에서 현실적인 포커 패스트를 생성하도록 적대적 학습을 수행하며, 판별기를 활용한다.
• 생성기와 판별기를 인코더와 함께 적대적 손실을 통해 동시에 학습시켜 쌍화된 데이터 없이도 고해상도 포커 패스트 생성을 가능하게 한다.
• 분류 헤드를 사용해 전체 모델을 미세조정하여, 감정 성분만을 입력으로 사용해 이산 감정 카테고리 인식을 수행한다.

실험 결과

연구 질문

• RQ1 대규모 사전학습 데이터나 하이브리드 아키텍처 없이도 기본 비디오 트랜스포머가 표정 인식에서 최신 기술 성능을 달성할 수 있는가?
• RQ2 자기지도 표현 학습과 적대적 생성을 통해 잠재 공간에서 감정과 비감정적 얼굴 성분을 효과적으로 분리할 수 있는가?
• RQ3 분리된 표현으로서의 포커 패스트(감정 없는 얼굴) 생성이 표정 인식의 정확성과 강건성 향상에 기여하는가?
• RQ4 제안된 방법이 쌍화된 데이터가 없이도 쌍화되지 않은 이미지, 개인 정보 변동, 노이즈 있는 레이블을 포함한 실외 데이터셋에 일반화 가능한가?
• RQ5 사전학습 중 마스킹 비율이 최종 FER 모델의 성능과 생성된 포커 패스트의 품질에 어떤 영향을 미치는가?

주요 결과

• PF-ViT는 RAF-DB 데이터셋에서 기존 방법을 뛰어넘는 새로운 최신 기술 정확도 92.07%를 달성한다.
• AffectNet-7에서 67.23%의 정확도를 기록하여 기존 최신 기술 방법을 능가한다.
• AffectNet-8에서 64.10%의 정확도를 확보하여 더 도전적인 노이즈가 많은 데이터셋에서도 뛰어난 성능을 보여준다.
• FERPlus 데이터셋에서 91.16%의 정확도를 기록하여 다양한 벤치마크에서의 강건성을 확인한다.
• 절단 실험 결과, 훈련 중 마스킹 비율이 높을수록 FER 성능이 떨어지며, 최적의 정확도는 훈련 시 마스킹 비율 0.5, 추론 시 0일 때 달성된다.
• 추론 시 생성기와 판별기 모듈을 제거할 수 있어 최종 분류 작업에 계산 비용이 추가로 발생하지 않는다.