[논문 리뷰] Talking-head Generation with Rhythmic Head Motion

Lele Chen, Guofeng Cui외 5명|arXiv (Cornell University)|2020. 07. 16.

Face recognition and analysis참고 문헌 42인용 수 4

한 줄 요약

이 논문은 음성과 짧은 참조 영상으로부터 머리 동작과 표정을 명시적으로 모델링함으로써, 제어 가능하고 리듬감 있는 머리 동작을 갖춘 사진처럼 생생한 입술 동기화가 된 헤드샷 영상 생성을 위한 3D 인식 생성 네트워크를 제안한다. 이 방법은 짧은 참조 영상과 오디오를 사용하여 머리 동작과 표정을 명시적으로 모델링함으로써 최신 기술 대비 뛰어난 시간적 일관성과 정체성 유지 성능을 달성한다.

ABSTRACT

When people deliver a speech, they naturally move heads, and this rhythmic head motion conveys prosodic information. However, generating a lip-synced video while moving head naturally is challenging. While remarkably successful, existing works either generate still talkingface videos or rely on landmark/video frames as sparse/dense mapping guidance to generate head movements, which leads to unrealistic or uncontrollable video synthesis. To overcome the limitations, we propose a 3D-aware generative network along with a hybrid embedding module and a non-linear composition module. Through modeling the head motion and facial expressions1 explicitly, manipulating 3D animation carefully, and embedding reference images dynamically, our approach achieves controllable, photo-realistic, and temporally coherent talking-head videos with natural head movements. Thoughtful experiments on several standard benchmarks demonstrate that our method achieves significantly better results than the state-of-the-art methods in both quantitative and qualitative comparisons. The code is available on https://github.com/ lelechen63/Talking-head-Generation-with-Rhythmic-Head-Motion.

연구 동기 및 목표

• 음성에 따라 자연스럽고 리듬감 있는 머리 동작을 갖춘 사진처럼 생생한 입술 동기화 헤드샷 영상 생성.
• 기존 방법들이 얼굴을 정지 상태로 만들거나 머리 동작에 대해 희박한/밀도 높은 감독을 의존하는 한계를 극복하기.
• 표정은 오디오에 의해 제어되고 머리 움직임은 참조 영상에서 학습되는 방식으로 제어 가능한 생성 구현.
• 3D 인식 모델링과 동적 외관 임베딩을 통해 시각적 일관성과 정체성 유지 향상.
• 편집을 위해 전체 영상 프레임을 입력으로 요구하지 않는 고해상도 합성 달성.

제안 방법

• GAN 학습을 안정화하고 머리 동작 중 정렬을 향상시키기 위해 기하학적 감독을 제공하는 3D 인식 모듈 도입.
• K개의 참조 프레임에서 동적으로 외관 특징을 집계하여 정체성과 운동 특성 모델링을 위한 하이브리드 임베딩 모듈 활용.
• 표면적 정렬을 정밀하게 수행하기 위해 얼굴 표정, 머리 동작, 외관 특징을 비선형 조합 모듈로 융합.
• 3초짜리 참조 영상과 오디오에서 리듬감 있는 머리 동작을 학습하여 제어 가능하고 자연스러운 머리 자세 전환 가능.
• 머리 동작과 얼굴 표정 모델링을 분리함으로써 분리도 및 제어성 향상.
• 랜드마크 애너테이션이나 전체 영상 편집에 의존하지 않고 오디오와 참조 프레임을 사용해 엔드 투 엔드로 학습.

실험 결과

연구 질문

• RQ1 완전한 영상 프레임을 입력으로 요구하지 않고도 생성 모델이 자연스럽고 리듬감 있는 머리 동작을 갖춘 사진처럼 생생한 헤드샷 영상 생성이 가능한가?
• RQ2 오디오 기반 영상 생성 중 머리 동작과 얼굴 표정을 명시적으로 분리하고 제어할 수 있는가?
• RQ3 3D 인식 모델링이 동적 얼굴 생성에서 정체성 유지 향상과 시각적 잡음 감소에 기여하는가?
• RQ4 동적 참조 프레임 임베딩 전략이 전역 외관 인코딩 대비 더 나은 일반화와 시각적 일관성을 이끌어내는가?
• RQ5 최신 기술의 오디오 기반 및 랜드마크 기반 접근법 대비 감각적 품질과 입술 동기화 정확도에서 본 방법은 어떻게 비교되는가?

주요 결과

• 제안된 방법은 VoxCeleb2 및 LRS3-TED 데이터셋에서 정량적 지표와 정성적 평가 모두에서 최신 기술 수준의 성능 달성.
• FID, SSIM, CSIM 점수에서 기존 기술 대비 뚜렷한 우월성 확보하며, CSIM 점수는 새로운 정체성에 대한 강력한 일반화 능력을 시사.
• 사용자 연구 결과, 자연스러운 머리 동작을 갖춘 영상가 더 현실감 있고 동기화가 잘 되어 있다고 평가됨. 정지된 얼굴 영상 대비 유의미하게 높은 평가.
• 절단 실험 결과, 3D 인식 모듈이나 비선형 조합 블록을 제거할 경우 정체성 이탈과 얼굴 가장자리 근처에 시각적 잡음 발생.
• 참조 프레임 수 K가 클수록 성능 향상됨으로써 동적 임베딩 전략의 효과성 입증.
• 랜드마크나 프레임 수준의 감독에 의존하는 방법보다 큰 얼굴 변형 상황에서도 고품질의 시간적으로 일관된 영상을 생성함.