[논문 리뷰] Feature Decomposition and Reconstruction Learning for Effective Facial Expression Recognition

Delian Ruan, Yan Yan외 4명|arXiv (Cornell University)|2021. 04. 12.

Emotion and Mood Recognition참고 문헌 31인용 수 11

한 줄 요약

이 논문은 공통적인 표현 유사성과 표현별 고유한 변동성을 명시적으로 모델링하는 새로운 딥러닝 프레임워크인 특징 분해 및 재구성 학습(FDRL)을 제안한다. 특징을 얼굴 운동 인식 잠재 표현으로 분해하고, 내부 및 상호 특징 관계 모듈을 사용하여 재구성함으로써, FDRL은 RAF-DB에서 89.47%의 최고 성능과 SFEW에서 62.16%의 최고 성능을 기록하여 미세한 표현 구분 능력에서 뛰어난 성능을 입증한다.

ABSTRACT

In this paper, we propose a novel Feature Decomposition and Reconstruction Learning (FDRL) method for effective facial expression recognition. We view the expression information as the combination of the shared information (expression similarities) across different expressions and the unique information (expression-specific variations) for each expression. More specifically, FDRL mainly consists of two crucial networks: a Feature Decomposition Network (FDN) and a Feature Reconstruction Network (FRN). In particular, FDN first decomposes the basic features extracted from a backbone network into a set of facial action-aware latent features to model expression similarities. Then, FRN captures the intra-feature and inter-feature relationships for latent features to characterize expression-specific variations, and reconstructs the expression feature. To this end, two modules including an intra-feature relation modeling module and an inter-feature relation modeling module are developed in FRN. Experimental results on both the in-the-lab databases (including CK+, MMI, and Oulu-CASIA) and the in-the-wild databases (including RAF-DB and SFEW) show that the proposed FDRL method consistently achieves higher recognition accuracy than several state-of-the-art methods. This clearly highlights the benefit of feature decomposition and reconstruction for classifying expressions.

연구 동기 및 목표

• 표현 간 얼굴 운동의 높은 유사성으로 인해 발생하는 미세한 표정 차이를 구분하는 데 도전하는 것.
• 특징 표현에서 공통적인 표현 유사성과 표현별 고유한 변동성을 명시적으로 모델링하는 것.
• 잠재 특징 내부 및 상호 관계를 학습하여 미세한 표정 인식을 향상시키는 것.
• 표현 인식을 위한 분류 능력을 향상시키는 통합형 엔드 투 엔드 학습 가능한 프레임워크를 개발하는 것.

제안 방법

• 특징 분해 네트워크(FDN)는 압축 손실을 사용하여 백본에서 추출한 특징을 얼굴 운동 인식 잠재 특징으로 분해함으로써 공통 표현 학습을 강제한다.
• 특징 재구성 네트워크(FRN)는 두 모듈을 사용하여 원래의 표현 특징을 재구성한다: 내부 관계 모듈(Intra-RM)은 각 잠재 특징 내부의 관계를 모델링하고, 상호 관계 모듈(Inter-RM)은 잠재 특징 간의 관계를 모델링한다.
• Intra-RM은 각 잠재 특징에 대한 중요도 가중치(Intra-W)를 계산하여 분류에 기여하는 구성 요소를 강조하고, Inter-RM은 특징 간 상호 의존성을 캡처하여 표현을 정밀하게 개선한다.
• 프레임워크는 엔드 투 엔드 학습 체계에서 백본 CNN, FDN, FRN, 그리고 표현 예측 헤드를 통합한다.
• FDN에서 압축 손실을 사용하여 표현 유사성을 포괄하는 조밀하고 밀집된 잠재 특징 표현을 유도한다.
• 재구성 손실은 FRN이 원래의 표현 특징을 복구하도록 보장하여 분류 정보를 유지한다.

실험 결과

연구 질문

• RQ1 공통 및 고유 표현 특징의 명시적 분해가 미세한 표현 카테고리에서의 인식 성능 향상에 기여하는가?
• RQ2 잠재 특징 간 내부 및 상호 관계는 어떻게 미세한 표정 차이를 구분하는 데 기여하는가?
• RQ3 표현 유사성과 변동성을 별도로 모델링하면 실내 및 실외 환경 데이터셋에서 더 나은 일반화 성능을 달성하는가?
• RQ4 특징 재구성이 얼굴 표정 인식에서 분류 능력을 향상시키는 데 얼마나 기여하는가?

주요 결과

• FDRL은 RAF-DB 데이터셋에서 89.47%의 인식 정확도를 달성하여 최고 성능을 기록했다.
• SFEW 데이터셋에서는 62.16%의 정확도를 기록하여 실외 환경에서 도전적인 데이터에 대해 뛰어난 성능을 보였다.
• t-SNE 시각화 결과, 기준 모델 대비 FDRL 특징는 더 높은 클래스 간 분離성과 낮은 클래스 내 분산을 보였다.
• 평균 Intra-W 벡터의 분포는 서로 다른 표현이 서로 다른 잠재 특징을 활성화함을 보여주었으며, 일부 특징은 표현 간 유사한 가중치를 보였고, 이는 Inter-RM의 필요성을 정당화한다.
• 제거 실험 결과, FDN과 FRN, 특히 Intra-RM와 Inter-RM의 조합이 성능 향상에 필수적임을 확인했다.
• 백본, FDN, FRN을 통합한 전체 FDRL 모델이 최고의 성능을 기록하여, 동시 분해 및 재구성 학습 파라다임의 효과성을 입증했다.