[논문 리뷰] Audio-driven Talking Face Video Generation with Natural Head Pose

Ran Yi, Zipeng Ye외 3명|arXiv (Cornell University)|2020. 02. 24.

Face recognition and analysis인용 수 16

한 줄 요약

이 논문은 청각 신호와 짧은 대상 영상만을 활용하여 개인화되고 자연스러운 머리 자세를 가진 고품질의 대화형 얼굴 영상을 생성하는 딥 뉴럴 네트워크를 제안한다. 3D 얼굴 애니메이션을 복원하고 메모리 증강 GAN을 사용해 프레임을 정밀하게 보정함으로써, 단지 약 300프레임의 미세조정 데이터로도 현실적인 머리 움직임과 입동조율을 달성한다.

ABSTRACT

Real-world talking faces often accompany with natural head movement. However, most existing talking face video generation methods only consider facial animation with fixed head pose. In this paper, we address this problem by proposing a deep neural network model that takes an audio signal A of a source person and a very short video V of a target person as input, and outputs a synthesized high-quality talking face video with personalized head pose (making use of the visual information in V), expression and lip synchronization (by considering both A and V). The most challenging issue in our work is that natural poses often cause in-plane and out-of-plane head rotations, which makes synthesized talking face video far from realistic. To address this challenge, we reconstruct 3D face animation and re-render it into synthesized frames. To fine tune these frames into realistic ones with smooth background transition, we propose a novel memory-augmented GAN module. By first training a general mapping based on a publicly available dataset and fine-tuning the mapping using the input short video of target person, we develop an effective strategy that only requires a small number of frames (about 300 frames) to learn personalized talking behavior including head pose. Extensive experiments and two user studies show that our method can generate high-quality (i.e., personalized head movements, expressions and good lip synchronization) talking face videos, which are naturally looking with more distinguishing head movement effects than the state-of-the-art methods.

연구 동기 및 목표

• 기존의 대화형 얼굴 영상 생성 방법이 머리 자세를 고정해 둔 한계를 해결하기 위해 자연스럽고 개인화된 머리 움직임을 가능하게 한다.
• 자연스러운 말하기로 인해 발생하는 수평면 내외 및 수평면 외부의 머리 회전을 모델링하여 현실적인 합성에 도전한다.
• 짧은 대상 영상만을 사용하여 입동조율과 표현적인 얼굴 운동을 갖춘 고해상도의 대화형 얼굴 영상을 생성한다.
• 소수의 프레임(~300장)으로부터 효율적으로 개인화된 대화 행동—특히 머리 자세—를 학습하는 미세조정 전략을 개발한다.

제안 방법

• 모델은 청각 신호 A와 대상 인물의 짧은 영상 V를 입력으로 받아 동적 머리 자세를 가진 개인화된 대화형 얼굴 영상을 생성한다.
• 청각 및 시각 입력에서 3D 얼굴 애니메이션을 복원함으로써 현실적인 수평면 내외 및 수평면 외부 머리 회전을 가능하게 한다.
• 합성된 프레임을 정밀하게 보정하기 위해 메모리 증강 GAN 모듈을 도입하여 배경 전환의 부드러움과 사진 수준의 질을 확보한다.
• 이중 단계 학습 전략을 사용한다: 먼저 공개 데이터셋에서 사전 학습한 후, 대상 인물의 짧은 영상으로 미세조정하여 개인의 머리 움직임 패턴에 적응시킨다.
• 제한된 프레임으로도 짧은 영상 V의 시각적 단서를 활용해 개인화된 머리 자세 행동을 추론한다.
• 청각 및 시각 신호를 함께 모델링함으로써 입동조율을 달성하여 말과 입 움직임 간의 시간적 정렬을 보장한다.

실험 결과

연구 질문

• RQ1 짧은 대상 인물의 영상만을 사용하여 딥 러닝 모델이 자연스럽고 개인화된 머리 자세를 가진 대화형 얼굴 영상을 생성할 수 있는가?
• RQ2 3D 얼굴 애니메이션 복원과 GAN 기반 보정이 동적 머리 자세를 가진 합성된 대화형 얼굴 영상의 현실성 향상에 얼마나 효과적인가?
• RQ3 소수의 프레임(~300장)으로 미세조정할 경우 개인의 머리 자세 패턴을 얼마나 정확히 모델링할 수 있는가?
• RQ4 입동조율, 얼굴 표정, 머리 자세의 자연스러움 측면에서 최신 기술과 비교해 본다면, 제안된 방법은 어떤 성능을 보이는가?

주요 결과

• 제안된 방법은 최신 기술 대비 훨씬 더 뚜렷하고 자연스러운 머리 움직임 효과를 가진 대화형 얼굴 영상을 생성한다.
• 사용자 연구 결과, 정확한 머리 자세 역학으로 인해 생성된 영상가 더 현실적으로 느껴지고, 빌드업이 강한 시각적 매력을 지닌다.
• 청각 및 시각 모odal 간의 공동 모델링을 통해 효과적으로 오디오와 시각 신호를 정렬함으로써 고품질의 입동조율을 달성한다.
• ~300장의 대상 인물 영상 프레임만으로도 복잡한 머리 자세 패턴을 포함한 개인화된 대화 행동을 학습하는 데 충분하다.
• 메모리 증강 GAN 모듈은 합성 영상의 프레임 현실성 향상과 배경 전환의 부드러움을 성공적으로 향상시켰다.
• 다양한 테스트 케이스에서 실시한 광범위한 실험을 통해 영상 품질과 운동의 자연스러움에서 일관된 우수성을 입증했다.