[논문 리뷰] Learning Dynamic Facial Radiance Fields for Few-Shot Talking Head Synthesis

Shuai Shen, Wanhua Li외 4명|arXiv (Cornell University)|2022. 07. 24.

Face recognition and analysis인용 수 5

한 줄 요약

이 논문은 단 몇 초의 훈련 데이터만으로도 새로운 신원에 빠르게 일반화할 수 있도록 설계된 동적 얼굴 반사율 필드(Dynamic Facial Radiance Fields, DFRF)를 제안한다. 2D 기준 이미지와 음성 조건부로 조정된 가분성 있는 얼굴 왜곡 모듈을 사용하여, 3D 인식 반사율 필드를 조건화함으로써 DFRF는 단 40,000 반복 안에 고해상도, 사진 수준의 말하는 머리 영상 생성을 달성하며, 기존의 NeRF 기반 방법들보다 소수의 예시 설정에서 뛰어난 성능을 보인다.

ABSTRACT

Talking head synthesis is an emerging technology with wide applications in film dubbing, virtual avatars and online education. Recent NeRF-based methods generate more natural talking videos, as they better capture the 3D structural information of faces. However, a specific model needs to be trained for each identity with a large dataset. In this paper, we propose Dynamic Facial Radiance Fields (DFRF) for few-shot talking head synthesis, which can rapidly generalize to an unseen identity with few training data. Different from the existing NeRF-based methods which directly encode the 3D geometry and appearance of a specific person into the network, our DFRF conditions face radiance field on 2D appearance images to learn the face prior. Thus the facial radiance field can be flexibly adjusted to the new identity with few reference images. Additionally, for better modeling of the facial deformations, we propose a differentiable face warping module conditioned on audio signals to deform all reference images to the query space. Extensive experiments show that with only tens of seconds of training clip available, our proposed DFRF can synthesize natural and high-quality audio-driven talking head videos for novel identities with only 40k iterations. We highly recommend readers view our supplementary video for intuitive comparisons. Code is available in https://sstzal.github.io/DFRF/.

연구 동기 및 목표

• 기존의 NeRF 기반 말하는 머리 방법들이 각 신원에 대해 대규모 데이터셋과 재훈련이 필요로 하는 한계를 해결하기 위해.
• 최소한의 데이터로 새로운 신원에 빠르게 적응하여 소수의 예시 설정에서 고품질의 합성 결과를 달성하기 위해.
• 음성 신호에 조건부로 조정된 3D 포인트 단위의 왜곡 필드를 통해 말하는 동안의 얼굴 변형 모델링을 향상시키기 위해.
• 제한된 훈련 데이터와 짧은 훈련 기간 동안에도 높은 음성-시각 동기화와 사진 수준의 세부 사항을 유지하기 위해.

제안 방법

• 신규 신원에 대한 빠른 적응을 가능하게 하기 위해, 신경 반사율 필드를 2D 기준 이미지 특징에 조건화하여 일반적인 얼굴 사전 지식을 학습한다.
• 음성 조건부 3D 포인트 단위의 변형 필드를 사용해 기준 이미지를 쿼리 공간으로 왜곡하는 가분성 있는 얼굴 왜곡 모듈을 도입한다.
• 3D 기하학적 구조와 외관은 참조 이미지 특징과 음성 입력에 의해 동적으로 조정되는 반사율 필드를 통해 암묵적으로 모델링한다.
• 3D에서 2D로의 투영 메커니즘이 기준 이미지의 픽셀 정보를 활용해 渲染를 안내하며, 말하는 동안 얼굴 변형을 보정한다.
• 소수의 기준 프레임(예: 15초 클립)을 사용해 엔드 투 엔드로 훈련하고, 단지 40,000회의 반복 안에 최적화한다.
• 프레임워크는 제로샷 신원 일반화와 다국어 추론을 지원하며, 다양한 언어와 성별 간에도 입술 동기화 정확도를 유지한다.

실험 결과

연구 질문

• RQ1 2D 기준 이미지에 조건부로 신경 반사율 필드를 효과적으로 조정함으로써, 말하는 머리 합성에서 새로운 신원에 대한 소수의 예시로의 신속한 적응이 가능한가?
• RQ2 NeRF 기반 프레임워크에서 말하는 동안의 얼굴 변형을 더 잘 모델링할 수 있는가?
• RQ3 음성 조건부로 조정된 가분성 있는 왜곡 모듈이 렌더링 과정에서 기준 이미지와 쿼리 공간 간의 정렬을 향상시킬 수 있는가?
• RQ4 극도로 제한된 데이터(예: 15초 훈련 데이터) 상황에서 시각적 품질과 음성-시각 동기화 측면에서 본 방법의 성능은 어떠한가?
• RQ5 다양한 언어와 화자 신원 간에서도 고해상도와 동기화를 유지하면서 일반화가 가능한가?

주요 결과

• 단지 15초의 훈련 데이터와 10,000회의 반복만으로 DFRF는 NeRF와 AD-NeRF보다 훨씬 선명하고 현실적인 사진 수준의 말하는 머리 영상을 생성한다.
• 소수의 예시 설정(15초 클립)에서 DFRF는 테스트 세트 A에서 PSNR 33.28, LPIPS 0.029를 기록하며, AD-NeRF(33.20, 0.032)와 NeRF를 모두 능가한다.
• 테스트 세트 B에서는 DFRF가 PSNR 34.65, LPIPS 0.027를 기록하며, AD-NeRF(33.85, 0.028)를 능가하고 시각적 품질이 뛰어나다는 것을 입증한다.
• 강력한 음성-시각 동기화를 유지하며, 테스트 세트 B에서 SyncNet 점수 1/5.755를 기록하여 정확한 입술 움직임을 보여준다.
• 다국어 설정에서는 일관된 SyncNet 점수(예: 영어 소스 기준 1/5.301, 중국어 소스 기준 1/5.755)를 기록하며, 다양한 언어와 성별 간의 강건성을 입증한다.
• 180초의 훈련 데이터가 주어져도 DFRF는 [37] 및 [39]과 같은 비-NeRF 기반 3D 방법들을 능가하며, 얼굴 운동을 모델링하는 데서의 우수성을 확인한다.