[논문 리뷰] Deep Multi-Facial Patches Aggregation Network For Facial Expression Recognition

Ahmed Rachid Hazourli, Amine Djeghri외 2명|arXiv (Cornell University)|2020. 02. 20.

Emotion and Mood Recognition인용 수 7

한 줄 요약

이 논문은 깊이 있는 다중면역 패치 집합 네트워크(MFP-CNN)를 제안하여 얼굴 표정 인식(Facial Expression Recognition, FER)을 수행한다. 이 네트워크는 눈, 눈썹, 코, 입과 같은 일곱 개의 핵심 얼굴 영역에서 전용 서브넷을 통해 깊이 있는 특징을 추출하고, 글로벌 CNN를 통해 이를 집계하며, 조건부 GAN과 이미지 변환 기반의 두 가지 새로운 데이터 증강 기법을 통해 일반화 능력을 향상시킨다. 이 방법은 CK+ 데이터셋에서 98.07%의 정확도를 기록하여 최신 프레임 기반 접근 방식을 능가하며, 특히 중립 및 경멸 표정과 같은 클래스 상관관계 문제를 효과적으로 다룬다.

ABSTRACT

In this paper, we propose an approach for Facial Expressions Recognition (FER) based on a deep multi-facial patches aggregation network. Deep features are learned from facial patches using deep sub-networks and aggregated within one deep architecture for expression classification . Several problems may affect the performance of deep-learning based FER approaches, in particular, the small size of existing FER datasets which might not be sufficient to train large deep learning networks. Moreover, it is extremely time-consuming to collect and annotate a large number of facial images. To account for this, we propose two data augmentation techniques for facial expression generation to expand FER labeled training datasets. We evaluate the proposed framework on three FER datasets. Results show that the proposed approach achieves state-of-art FER deep learning approaches performance when the model is trained and tested on images from the same dataset. Moreover, the proposed data augmentation techniques improve the expression recognition rate, and thus can be a solution for training deep learning FER models using small datasets. The accuracy degrades significantly when testing for dataset bias.

연구 동기 및 목표

• 딥 러닝 기반 FER에서 레이블이 부족한 얼굴 표정 데이터셋 문제를 해결하기 위해 훈련 데이터를 확장하기 위한 데이터 증강 기법을 제안한다.
• 눈, 눈썹, 코, 입과 같은 특징적인 얼굴 영역에 초점을 맞춰 패치 기반 특징 학습을 통해 FER 성능을 향상시킨다.
• 다양한 얼굴 패치 표현을 집계하는 딥 신경망 아키텍처를 개발하여 표정 분류 성능을 향상시킨다.
• 실내 제어 환경과 실외 환경을 포함한 다양한 조건에서의 데이터셋 간 일반화 능력을 평가하며, 데이터베이스 편향을 주요 제한 요소로 규명한다.
• CK+ 데이터셋에서 시퀀스 기반 방법에 비해 프레임 기반 딥 러닝 모델의 성능 효과성을 조사한다.

제안 방법

• MFP-CNN 아키텍처는 얼굴 랜드마크 검출을 통해 눈, 눈썹, 코, 입 등 표정과 관련된 핵심 영역에서 일곱 개의 국소화된 얼굴 패치를 추출한다.
• 각 얼굴 패치는 해당 영역에 특화된 계층적 공간 특징을 학습하기 위한 전용 깊이 합성곱 서브넷을 통해 처리된다.
• 일곱 개의 서브넷 출력 결과는 연결되어 글로벌 합성곱 네트워크에 입력되어 표정 분류를 위한 고수준 표현을 학습한다.
• 두 가지 데이터 증강 기법을 제안한다: (1) 조건부 GAN 기반 얼굴 표정 생성 및 (2) 색상 왜곡, 회전, 스케일링 등의 이미지 변환 함수 조합을 통한 새로운 훈련 샘플 생성.
• 모델는 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 훈련되며, 세 가지 벤치마크 데이터셋(Ck+, JAFFE, SFEW)에서 평가된다.
• 비구속적이고 실외 환경의 얼굴 표정을 다루기 위해 SFEW 데이터셋에서 미세 조정(fine-tuning)을 적용한다.

실험 결과

연구 질문

• RQ1 다양한 얼굴 영역에서 특징을 집계하는 패치 기반 딥 러닝 아키텍처가 전체 이미지 기반 접근 방식에 비해 FER 성능을 향상시킬 수 있는가?
• RQ2 제안된 데이터 증강 기법—조건부 GAN과 이미지 변환—이 소규모 얼굴 표정 데이터셋에서 모델의 일반화 능력을 어느 정도 향상시키는가?
• RQ3 제어된 환경에서 훈련된 모델이 비구속적이고 실제 환경의 데이터셋(SFEW)에서 테스트되었을 때의 성능은 어떠한가? 그리고 미세 조정이 도메인 이동 문제를 완화시킬 수 있는가?
• RQ4 왜 모델의 성능이 데이터셋 간 평가에서 크게 떨어지는가? 그리고 데이터베이스 편향이 이 떨어짐에 어떤 역할을 하는가?
• RQ5 시퀀스 기반 방법이 지배적인 상황에서 프레임 기반 딥 러닝 모델이 CK+ 데이터셋에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• MFP-CNN는 CK+ 데이터셋에서 98.07%의 정확도를 기록하며, 기존의 프레임 기반 방법을 능가하며 중립 및 경멸 표정에 대해 특히 뛰어난 성능를 보여주며, 이는 종종 잘못 분류되는 경향이 있다.
• CK+에서 훈련하고 JAFFE 데이터셋에서 테스트한 결과, 정확도는 61.97%를 기록했으며, 혐오와 중립 표정 간 혼동이 높아 도메인 이동이 뚜렷하게 나타났다.
• CK+에서 훈련한 후 비구속적인 SFEW 데이터셋에서 테스트한 결과 정확도는 32.7%에 그쳐, 실제 환경 조건에 대한 일반화 능력이 떨어지는 것으로 나타났다.
• SFEW 데이터셋의 80%에서 모델을 미세 조정하면 나머지 20%에서 정확도가 86.36%까지 향상되어, 적응이 도메인 이동 영향을 크게 줄임을 입증했다.
• 제안된 데이터 증강 기법—특히 조건부 GAN 기반 생성 방식—은 인식률 향상에 기여하며, 소규모 데이터셋에서의 과적합을 완화하는 데 효과적이다.
• 지역화된 패치 특징을 사용할 경우, 얼굴 표정의 내부 클래스 변동성에 대해 강건성을 보이며, 동일 데이터셋 평가에서 높은 성능를 유지한다.