[논문 리뷰] Explicit Facial Expression Transfer via Fine-Grained Semantic Representations.

Zhiwen Shao, Hengliang Zhu외 3명|arXiv (Cornell University)|2019. 09. 06.

Face recognition and analysis참고 문헌 41인용 수 6

한 줄 요약

이 논문은 중간 예측의 정확도가 떨어지는 문제를 피하기 위해 원본 이미지와 타겟 이미지를 직접 매핑하여 표정이 교환된 합성 이미지를 생성하는 새로운 얼굴 표정 전이 방법을 제안한다. 새로운 적대적 훈련 방식을 통해 표정 단위(AU) 관련 및 AU 비관계 특징을 분리하고, 교환 일致성 조건을 도입함으로써 다양한 신원, 자세, 인구 통계적 특성에 걸쳐 사진처럼 생생한 고해상도의 표정 전이를 달성한다.

ABSTRACT

Facial expression transfer between two unpaired images is a challenging problem, as fine-grained expressions are typically tangled with other facial attributes such as identity and pose. Most existing methods treat expression transfer as an application of expression manipulation, and use predicted facial expressions, landmarks or action units (AUs) of a source image to guide the expression edit of a target image. However, the prediction of expressions, landmarks and especially AUs may be inaccurate, which limits the accuracy of transferring fine-grained expressions. Instead of using an intermediate estimated guidance, we propose to explicitly transfer expressions by directly mapping two unpaired images to two synthesized images with swapped expressions. Since each AU semantically describes local expression details, we can synthesize new images with preserved identities and swapped expressions by combining AU-free features with swapped AU-related features. To disentangle the images into AU-related features and AU-free features, we propose a novel adversarial training method which can solve the adversarial learning of multi-class classification problems. Moreover, to obtain reliable expression transfer results of the unpaired input, we introduce a swap consistency loss to make the synthesized images and self-reconstructed images indistinguishable. Extensive experiments on RaFD, MMI and CFD datasets show that our approach can generate photo-realistic expression transfer results between unpaired images with different expression appearances including genders, ages, races and poses.

연구 동기 및 목표

• 표정이 신원, 자세 및 기타 속성과 뒤섞여 있는 비대응 이미지 간에 미세한 얼굴 표정을 전이하는 데 도전하는 것.
• 표면 예측된 랜드마크, 행동 단위(AU), 또는 표정과 같은 중간 지침의 정확도 부족으로 인해 전이 품질이 저하되는 문제를 해결하는 것.
• 신원과 자세를 유지하면서 표정이 교환된 이미지를 합성함으로써 직접적인 표정 전이를 가능하게 하는 것.
• 예측된 AU에 의존하지 않고 AU 관련 및 AU 비관계 특징을 분리하는 강력한 방법 개발.
• 합성된 이미지와 자기 재구성된 이미지 간의 교환 일치 손실을 통해 전이의 일致성과 현실감을 확보하는 것.

제안 방법

• AU 관련 및 AU 비관계 특징을 분리하기 위해 다중 클래스 분류 문제를 해결하는 새로운 적대적 훈련 방법을 제안한다.
• AU 비관계 특징을 기본 표현으로 사용하고, 원본과 타겟 이미지 간의 AU 관련 특징을 교환하여 표정이 전이된 새로운 이미지를 합성한다.
• 합성된 이미지와 그 자체 재구성된 버전이 구분되지 않도록 하는 교환 일치 손실을 도입하여 해상도와 일관성을 향상시킨다.
• 비대응 원본 및 타겟 이미지를 두 개의 표면이 교환된 합성 이미지로 매핑하는 생성 모델을 사용하며, 분리된 특징을 입력으로 활용한다.
• 행동 단위(AU)의 의미적 표현을 활용하여 이미지 합성 과정에서 국소적 표정 세부 사항을 명시적으로 제어한다.
• 모델이 합성 출력에서 원본 이미지를 재구성하도록 하는 사이클 일관성 훈련 목표를 설계하여 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 예측된 얼굴 랜드마크나 행동 단위(AU)에 의존하지 않고도 중간 회귀의 오류 전파를 피할 수 있는 명시적 표정 전이가 가능할 수 있는가?
• RQ2 비대응 이미지 간 전이에서, 적대적 학습 프레임워크 내에서 AU 관련 및 AU 비관계 특징을 얼마나 효과적으로 분리할 수 있는가?
• RQ3 교환 일치 조건을 도입함으로써 비대응 환경에서 표정 전이의 현실감과 정확도가 얼마나 향상되는가?
• RQ4 제안된 방법이 다양한 신원, 자세, 표정 외형(성별, 연령, 인종 등) 변화에 대해 일반화 가능한가?
• RQ5 사진처럼 생생한 현실감과 미세한 표정 정확도 측면에서 최신 기술 대비 제안된 방법은 어떻게 비교되는가?

주요 결과

• RaFD, MMI, CFD와 같은 비대응 이미지 데이터셋에서 제안된 방법은 사진처럼 생생한 얼굴 표정 전이 분야에서 최고 성능을 달성한다.
• 명시적인 AU 기반 특징 분리 기법을 사용함으로써 예측된 AU에 의존하는 기존 방법 대비 미세한 표정 전이 정확도가 크게 향상된다.
• 교환 일치 손실은 재구성 정확도를 강화함으로써 잡음과 아티팩트를 효과적으로 줄이고 합성 이미지의 시각적 품질을 향상시킨다.
• 모델은 다양한 인구 통계적 특성 및 자세 변화(다른 성별, 연령, 인종, 얼굴 자세 등)에 대해 잘 일반화된다.
• CFD 데이터셋에서의 정량적 평가 결과, 기준 방법 대비 FID 및 LPIPS 지표에서 뛰어난 성능을 보였다.
• 제거 실험 결과, 적대적 분리와 교환 일치 구성 요소가 모두 고품질 표정 전이를 달성하는 데 필수적임을 확인했다.