[논문 리뷰] One-Shot Identity-Preserving Portrait Reenactment

Sitao Xiang, Yuming Gu외 5명|arXiv (Cornell University)|2020. 04. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 61인용 수 8

한 줄 요약

이 논문은 단일 타겟 이미지와 드라이빙 주제 비디오의 2차원 얼굴 랜드마크를 사용하여 한 번의 샘플로 신원을 유지하는 포트레이트 재연 방법을 제안한다. 신원과 자세/표정을 분리하기 위해 랜드마크 분리 네트워크(LD-Net)를 도입하고, 특징 사전 기반 GAN(FD-GAN)을 활용해 사진처럼 사실적인 포트레이트를 합성함으로써 기존 최고 수준의 방법들에 비해 뛰어난 신원 유지 성능과 미리 보지 않은 주제에 대한 일반화 능력을 확보한다.

ABSTRACT

We present a deep learning-based framework for portrait reenactment from a single picture of a target (one-shot) and a video of a driving subject. Existing facial reenactment methods suffer from identity mismatch and produce inconsistent identities when a target and a driving subject are different (cross-subject), especially in one-shot settings. In this work, we aim to address identity preservation in cross-subject portrait reenactment from a single picture. We introduce a novel technique that can disentangle identity from expressions and poses, allowing identity preserving portrait reenactment even when the driver's identity is very different from that of the target. This is achieved by a novel landmark disentanglement network (LD-Net), which predicts personalized facial landmarks that combine the identity of the target with expressions and poses from a different subject. To handle portrait reenactment from unseen subjects, we also introduce a feature dictionary-based generative adversarial network (FD-GAN), which locally translates 2D landmarks into a personalized portrait, enabling one-shot portrait reenactment under large pose and expression variations. We validate the effectiveness of our identity disentangling capabilities via an extensive ablation study, and our method produces consistent identities for cross-subject portrait reenactment. Our comprehensive experiments show that our method significantly outperforms the state-of-the-art single-image facial reenactment methods. We will release our code and models for academic use.

연구 동기 및 목표

• 단일 타겟 이미지만 제공될 경우 교차 주제 포트레이트 재연에서 신원 불일치 문제를 해결하기 위해
• 다른 드라이빙 주제에서 온 표정과 자세를 전달하면서 타겟 주제의 신원을 유지하기 위해
• 주제별 맞춤 조정 또는 훈련 없이 주제에 관계없이 재연을 가능하게 하기 위해
• 큰 자세 및 표정 변화에 견딜 수 있는 고해상도, 사진처럼 사실적인 포트레이트 합성 달성하기 위해
• 2D 랜드마크 기반 방법의 한계를 극복하여 신원과 얼굴 세부 정보 유지 능력을 향상시키기 위해

제안 방법

• 타겟 신원과 드라이빙 주제의 표정 및 자세를 조합한 개인화된 얼굴 랜드마크를 예측함으로써 신원과 자세/표정을 분리하는 랜드마크 분리 네트워크(LD-Net)를 도입한다.
• 특징 사전 기반 생성 적대적 네트워크(FD-GAN)를 활용하여 2D 랜드마크 좌표를 국소적으로 개인화된 포트레이트 이미지로 변환함으로써 신원 유지 합성 가능하게 한다.
• 분리된 랜드마크 표현을 활용해 타겟과 드라이빙 주제의 외형이 매우 다를 경우에도 신원 일관성을 확보한다.
• 사전 훈련된 특징 사전를 활용하여 주제별 적응 없이 고해상도, 사진처럼 사실적인 얼굴 이미지로 매핑한다.
• 2D 랜드마크 감독과 적대적 훈련을 결합하여 이미지의 정밀도와 구조 일관성을 향상시킨다.
• 두 단계 프레임워크를 설계함: 먼저 운동 신호에서 신원을 분리하고, 그 다음 분리된 랜드마크에서 신원 일관성 있는 이미지를 생성한다.

실험 결과

연구 질문

• RQ1 2D 얼굴 랜드마크는 교차 주제 재연을 위해 신원에 영향을 받지 않는 운동 성분과 신원에 특화된 특징으로 효과적으로 분리될 수 있는가?
• RQ2 단일 참조 이미지만으로 주제별 훈련 없이 고해상도, 신원 유지 포트레이트 재연이 가능할 수 있는가?
• RQ3 랜드마크 기반 방법은 큰 자세 및 표정 변화가 있는 새로운 주제에 대해 얼마나 잘 일반화되는가?
• RQ4 제안된 특징 사전 기반 GAN은 기존 GAN 대비 한 번의 샘플 설정에서 신원 유지 및 이미지 품질을 향상시키는가?
• RQ5 랜드마크 분리가 포트레이트 재연에서 시간적 일관성과 시각적 정밀도에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 CrossTest 데이터셋에서 가장 높은 신원 유사도(ISIM) 점수 0.7762를 기록하여 X2Face(0.6347)와 First-order-model(0.7699)을 모두 초월한다.
• PSIM 점수 0.840을 기록하여 타겟 신원과 강한 지각 유사성을 보이며, 베이스라인인 First-order-model(0.822)을 뛰어넘는다.
• 엣지 왜곡(ED)을 0.243으로 줄여 X2Face(0.448)와 First-order-model(0.274)에 비해 더 뛰어난 구조 일관성을 보인다.
• FID 점수 67.68은 더 높은 FID에도 불구하고 더 나은 신원 유지 덕분에 실제 이미지와의 분포 유사도가 더 뛰어나다는 것을 의미한다. First-order-model(55.94)보다 우수하다.
• 정성적 결과는 드라이빙 주제와 타겟의 외형이 매우 다를 경우에도 다양한 자세와 표정에서 일관된 신원 유지가 이루어지는 것을 보여준다.
• 제거 실험 결과는 특히 교차 주제 상황에서 랜드마크 분리가 신원 유지에 필수적임을 확인한다.