[논문 리뷰] Geometry Guided Adversarial Facial Expression Synthesis

Lingxiao Song, Zhihe Lu외 3명|arXiv (Cornell University)|2017. 12. 10.

Face recognition and analysis인용 수 16

한 줄 요약

이 논문은 얼굴의 체계적 특징점(_fiducial points_)를 열매형 맵으로 변환한 조건부 입력을 통해 사진처럼 사실적인, 신원을 유지하는 얼굴 표정을 합성하는 기하학적 지도를 받는 생성적 적대적 네트워크(G2-GAN)를 제안한다. 표정 합성과 제거를 위한 두 개의 GAN 하위망을 공동으로 훈련시켜 사이클 일致성 맵핑을 형성함으로써, CK+ 및 Oulu-CASIA 데이터셋에서 최신 기술 수준의 성능을 기록하는 표정 이동 및 신원 불변 얼굴 인식을 가능하게 한다.

ABSTRACT

Facial expression synthesis has drawn much attention in the field of computer graphics and pattern recognition. It has been widely used in face animation and recognition. However, it is still challenging due to the high-level semantic presence of large and non-linear face geometry variations. This paper proposes a Geometry-Guided Generative Adversarial Network (G2-GAN) for photo-realistic and identity-preserving facial expression synthesis. We employ facial geometry (fiducial points) as a controllable condition to guide facial texture synthesis with specific expression. A pair of generative adversarial subnetworks are jointly trained towards opposite tasks: expression removal and expression synthesis. The paired networks form a mapping cycle between neutral expression and arbitrary expressions, which also facilitate other applications such as face transfer and expression invariant face recognition. Experimental results show that our method can generate compelling perceptual results on various facial expression synthesis databases. An expression invariant face recognition experiment is also performed to further show the advantages of our proposed method.

연구 동기 및 목표

• 세부적인 제어가 가능한 표정 강도 및 유형에 대해 고해상도이자 신원을 유지하는 얼굴 표정을 생성하는 데 도전하는 것.
• 기존 GAN 기반 방법들이 얼굴 기하학에 대한 정밀한 제어가 부족하고 종종 흐릿하거나 해상도가 낮은 출력을 내는 한계를 극복하는 것.
• 표정 합성과 제거 간의 양방향 얼굴 편집—표정 이동 및 표정 제거—를 사이클 일치 프레임워크를 통해 가능하게 하는 것.
• 제안된 제거 모델을 통해 얼굴 표정을 중립 상태로 정규화하여 표정 불변 얼굴 인식을 향상시키는 것.
• 개별 특징에 맞는 얼굴 기하학 모델링을 통합하여 표정 이동 과정에서 고유한 신원 특징을 유지하는 것.

제안 방법

• 표정 합성 및 제거 생성기 모두를 지도하는 데 사용되는 얼굴 체계적 특징점의 열매형 맵 표현을 조건부 입력으로 사용한다.
• 표현 합성과 제거를 위한 두 개의 적대적 하위망을 공동으로 훈련시킨다: 중립 얼굴에서 목표 표정을 생성하는 네트워크와 표정을 제거하여 중립 얼굴을 복원하는 네트워크.
• 표정 제거 후 재합성 과정이 원래 입력을 복원하도록 보장하기 위해 사이클 일치 손실을 적용함으로써 특징과 신원 유지 향상.
• 표현 변화 과정에서도 주체의 신원을 유지하기 위해 잠재 공간의 특징 수준 제약 조건을 사용하는 신원 유지 손실을 적용한다.
• 개별 특수성에 맞는 형태 모델을 학습하여 얼굴 기하학을 표현하고 조작함으로써 개인 맞춤형 표정 편집 및 보간을 가능하게 한다.
• 이중 하위망을 통해 표정 이동, 보간, 표정 불변 얼굴 인식 등의 응용을 가능하게 한다.

실험 결과

연구 질문

• RQ1 체계적 특징점의 열매형 맵으로 표현된 얼굴 기하학이 사진처럼 사실적이고 신원을 유지하는 얼굴 표정 합성에 효과적으로 기여할 수 있는가?
• RQ2 표정 합성과 제거 간의 사이클 일치 훈련이 생성된 얼굴 이미지의 품질과 일관성에 어떤 영향을 미치는가?
• RQ3 제안된 방법이 표정 강도 및 유형에 대해 세밀한 제어를 얼마나 잘 가능하게 하는가(예: 미소와 놀람 표정을 구분하는 능력).
• RQ4 표정 제거 하위망이 표정 불변 얼굴 인식을 위한 효과적인 정규화 모듈로 기능할 수 있는가?
• RQ5 개별 특징에 맞는 얼굴 기하학 모델링이 얼굴 표정 이동에서 현실감과 신원 유지 능력을 얼마나 향상시키는가?

주요 결과

• CK+ 데이터셋에서 G2-GAN 모델은 VGG-Face 기준으로 TAR@FAR=1% 조건에서 랭크-1 식별률 97.26%를 기록하였고, Light CNN 기준으로는 100.00%를 달성하여 원본 설정을 초월하는 성능을 보였다.
• Oulu-CASIA 데이터셋에서 모델은 VGG-Face 기준으로 랭크-1 비율 97.84%, Light CNN 기준으로는 99.88%를 기록하여 표정 불변 인식에서 뛰어난 성능을 입증하였다.
• 제거 실험에서 사이클 일치 손실($L_{cyc}$) 또는 신원 손실($L_{identity}$)을 제거할 경우 성능 저하가 발생하여, 이들 손실이 강력한 표정 편집을 위해 필수적임을 확인하였다.
• 모델은 행복과 놀람 표정에 대해 구분되는 입술 변형을 성공적으로 생성하였으며, 특히 미소 표정에서만 현실적인 이가가 나타나 표면 세부 정보에 대한 세밀한 제어 능력을 보였다.
• 표정 보간 결과는 CK+에서 7개의 표정 클래스, Oulu-CASIA에서는 6개의 표정 클래스 간에 부드러운 전이를 보였으며, 일관된 신원 유지가 가능한 중간 표정 생성 능력을 확인하였다.
• 이 프레임워크는 두 데이터베이스에서의 정성적 및 정량적 결과를 통해 임의의 표정과 주제 간 효과적인 얼굴 표정 이동을 가능하게 하였다.