[논문 리뷰] Photorealistic Facial Expression Synthesis by the Conditional Difference Adversarial Autoencoder

Yuqian Zhou, Bertram E. Shi|arXiv (Cornell University)|2017. 08. 30.

Generative Adversarial Networks and Image Synthesis참고 문헌 19인용 수 16

한 줄 요약

이 논문은 동일한 신원의 표정 간 저수준 특징의 차이를 학습함으로써 단일 입력 이미지로부터 사진처럼 사실적인 표정을 합성하는 새로운 생성 모델인 조건부 차분 적대적 오토에코더(CDAAE)를 제안한다. 이 모델은 특히 소규모 데이터셋에서 표정 전이 시 정체성 유지 성능이 뛰어나, 이전 방법들에 비해 정밀도와 정체성 및 표정 요소의 분리도에서 슈퍼리어한 성능을 발휘한다.

ABSTRACT

Photorealistic facial expression synthesis from single face image can be widely applied to face recognition, data augmentation for emotion recognition or entertainment. This problem is challenging, in part due to a paucity of labeled facial expression data, making it difficult for algorithms to disambiguate changes due to identity and changes due to expression. In this paper, we propose the conditional difference adversarial autoencoder, CDAAE, for facial expression synthesis. The CDAAE takes a facial image of a previously unseen person and generates an image of that human face with a target emotion or facial action unit label. The CDAAE adds a feedforward path to an autoencoder structure connecting low level features at the encoder to features at the corresponding level at the decoder. It handles the problem of disambiguating changes due to identity and changes due to facial expression by learning to generate the difference between low-level features of images of the same person but with different facial expressions. The CDAAE structure can be used to generate novel expressions by combining and interpolating between facial expressions/action units within the training set. Our experimental results demonstrate that the CDAAE can preserve identity information when generating facial expression for unseen subjects more faithfully than previous approaches. This is especially advantageous when training with small databases.

연구 동기 및 목표

• 단일 이미지에서 사진처럼 사실적인 표정을 생성하면서도 정체성을 유지하는 문제를 해결하기 위해.
• 대규모 레이블이 부여된 표정 데이터셋이 없을 경우 정체성 특징과 표정 특징을 명확히 분리하는 데.
• 학습된 표정 차이를 통합하거나 보간하여 새로운 표정 생성을 가능하게 하기 위해.
• 표현 변화를 특징 차이로 명시적으로 모델링하여 소규모 학습 데이터베이스에서도 성능을 향상시키기 위해.
• 조건부 생성 모델을 사용하여 고해상도이고 정체성을 유지하는 표정 합성 달성하기 위해.

제안 방법

• CDAAE는 각 해당 특징 수준에서 인코더에서 디코더로의 피드포워드 스위치 연결을 도입하여 정체성과 관련된 특징를 직접 전달한다.
• 모델은 동일한 사람의 표정 간 저수준 특징의 차이를 학습하면서도 얼굴 이미지를 재구성하도록 오토에코더를 훈련시킨다.
• 실제 이미지와 생성된 이미지를 구분함으로써 사진처럼 사실적인 출력을 생성하기 위해 조건부 적대적 손실을 사용한다.
• 목표 표정 또는 얼굴 운동 단위(Facial Action Unit, FAU) 레이블에 조건부로 설정되어 있어 제어된 표정 합성을 가능하게 한다.
• 모델은 전체 이미지 재구성 대신 특징 차이에 집중함으로써 오직 표정 관련 변화만 생성하고 정체성을 유지한다.
• 학습된 표정 차이 간 보간을 통해 훈련 세트에 존재하지 않는 새로운 현실적인 중간 표정을 합성할 수 있다.

실험 결과

연구 질문

• RQ1 딥 생성 모델은 단일 이미지에서 정체성을 유지하면서 사진처럼 사실적인 표정을 합성할 수 있는가?
• RQ2 제한된 학습 데이터에서 모델은 정체성 특징와 표정 특징를 얼마나 효과적으로 분리할 수 있는가?
• RQ3 학습된 표정 차이의 보간을 통해 새로운 표정을 생성할 수 있는가?
• RQ4 조건부 차분 오토에코더 아키텍처는 표준 오토에코더에 비해 정체성 유지 및 표정 정밀도에서 뛰어난 성능을 보이는가?
• RQ5 CDAAE는 기존 방법들에 비해 소규모 데이터셋에서 표정 합성 성능에서 어떻게 성과를 내는가?

주요 결과

• CDAAE는 새로운 주제에 대해 표정을 생성할 때 이전 방법들보다 정체성 유지 능력이 뛰어나며, 인지적 품질과 정체성 일관성 측면에서 슈퍼리어한 성능을 발휘한다.
• 소규모 데이터셋으로 훈련된 모델도 사진처럼 사실적인 표정을 생성할 수 있어 강력한 일반화 능력을 보여준다.
• 조건부 차분 학습을 사용함으로써 잠재 공간에서 정체성과 표정 요소를 정확히 분리할 수 있다.
• 학습된 표정 차이 간 보간은 훈련 세트에 존재하지 않는 타당한 중간 표정을 생성한다.
• 조건부 적대적 훈련 구성 요소는 생성된 얼굴 이미지의 현실감을 크게 향상시킨다.
• 모델의 스위치 연결은 특징의 정밀도를 향상시키고 표정 전이 중 특징의 열화를 줄인다.