[논문 리뷰] Identity-Free Facial Expression Recognition using conditional Generative Adversarial Network

Jie Cai, Zibo Meng외 5명|arXiv (Cornell University)|2019. 03. 19.

Emotion and Mood Recognition참고 문헌 41인용 수 38

한 줄 요약

본 논문은 IF-GAN을 제안하는데, 이는 표현 정보를 평균 아이덴티티로 전달하여 아이덴티티 없이 얼굴 표정 인식을 가능하게 하는 엔드-투-엔드 조건부 GAN이며, 여러 FER 데이터셋에서 최첨단 성능을 달성한다.

ABSTRACT

A novel Identity-Free conditional Generative Adversarial Network (IF-GAN) was proposed for Facial Expression Recognition (FER) to explicitly reduce high inter-subject variations caused by identity-related facial attributes, e.g., age, race, and gender. As part of an end-to-end system, a cGAN was designed to transform a given input facial expression image to an "average" identity face with the same expression as the input. Then, identity-free FER is possible since the generated images have the same synthetic "average" identity and differ only in their displayed expressions. Experiments on four facial expression datasets, one with spontaneous expressions, show that IF-GAN outperforms the baseline CNN and achieves state-of-the-art performance for FER.

연구 동기 및 목표

• FER에서 피실험자 간 아이덴티티 변이(나이, 인종, 성별) 감소를 동기로 제시한다.
• 표현 정보를 평균 아이덴티티로 전달하는 엔드-투-엔드 IF-GAN을 제안한다.
• RAF-DB를 포함한 다수 데이터셋에서 FER 성능 향상을 입증한다.

제안 방법

• 입력 이미지에서 평균 아이덴티티 얼굴로 표현을 전달하기 위해 U-Net 기반 생성기를 사용한다.
• 현실적이고 표현 일관된 출력을 강제하기 위해 PatchGAN 판별기를 사용한다.
• 구분력을 향상시키기 위해 island loss로 학습된 ResNet-101 표현 분류기를 포함시킨다.
• G, D, E를 cGAN, L1, softmax, island loss 항을 결합한 손실로 함께 학습한다.
• 테스트 시에는 아이덴티티 프리 FER를 위해 오직 G와 E만 사용된다.

실험 결과

연구 질문

• RQ1 임의의 피험자 표현을 평균 아이덴티티로 전달하여 아이덴티티-프리 FER 시스템을 구축할 수 있는가?
• RQ2 G, D, E의 엔드-투-엔드 학습이 기초 CNN보다 FER 성능을 향상시키는가?
• RQ3 생성기 내의 자기-주목(self-attention)이 포즈 및 조명 변화에서 표현 전달 및 인식에 어떤 영향을 미치는가?
• RQ4 제안된 IF-GAN이 자발적 및 자세 FER 데이터셋 모두에서 효과적인가?

주요 결과

• 셀프 어텐션을 갖춘 IF-GAN은 RAF-DB를 포함한 네 가지 FER 데이터셋에서 최첨단 성능을 달성한다.
• 해당 아키텍처는 엔드-투-엔드로 학습 가능하며 인식에 적합한 표현-프리 얼굴 표현을 생성한다.
• 표현 전달은 아이덴티티 정보를 효과적으로 제거하면서 표현 신호를 보존한다.
• 셀프 어텐션 모듈은 얼굴 동작 단위와 정렬된 장거리 의존 정보를 포착하여 표현 충실도를 향상시킨다.
• 기초 CNN과 비교하여, IF-GAN은 자세 및 자발적 데이터셋에서 FER 성능이 향상된다.