[논문 리뷰] MuseTalk: Real-Time High-Fidelity Video Dubbing via Spatio-Temporal Sampling

Yue Zhang, Zhong, Zhizhou외 8명|arXiv (Cornell University)|2024. 10. 14.

Speech and Audio Processing인용 수 4

한 줄 요약

MuseTalk은 잠재 공간 내 시공간 샘플링을 활용하여 실시간으로 고해상도 비디오 더빙을 구현하는 이단계 프레임워크를 도입한다. NVIDIA V100에서 256×256 해상도에서 30 FPS 성능을 달성하며, 시각적 품질과 입술 동기화 정확도 사이의 상충 관계를 정보성 프레임 샘플링과 동적 마진 샘플링을 통해 해결한다. 이로 인해 기존 방법들보다 뛰어난 시각적 품질을 확보하면서도 강력한 동기화 성능 유지를 달성한다.

ABSTRACT

Real-time video dubbing that preserves identity consistency while achieving accurate lip synchronization remains a critical challenge. Existing approaches face a trilemma: diffusion-based methods achieve high visual fidelity but suffer from prohibitive computational costs, while GAN-based solutions sacrifice lip-sync accuracy or dental details for real-time performance. We present MuseTalk, a novel two-stage training framework that resolves this trade-off through latent space optimization and spatio-temporal data sampling strategy. Our key innovations include: (1) During the Facial Abstract Pretraining stage, we propose Informative Frame Sampling to temporally align reference-source pose pairs, eliminating redundant feature interference while preserving identity cues. (2) In the Lip-Sync Adversarial Finetuning stage, we employ Dynamic Margin Sampling to spatially select the most suitable lip-movement-promoting regions, balancing audio-visual synchronization and dental clarity. (3) MuseTalk establishes an effective audio-visual feature fusion framework in the latent space, delivering 30 FPS output at 256*256 resolution on an NVIDIA V100 GPU. Extensive experiments demonstrate that MuseTalk outperforms state-of-the-art methods in visual fidelity while achieving comparable lip-sync accuracy. %The codes and models will be made publicly available upon acceptance. The code is made available at \href{https://github.com/TMElyralab/MuseTalk}{https://github.com/TMElyralab/MuseTalk}

연구 동기 및 목표

• 실시간 비디오 더빙에서의 삼중 과제를 해결하기 위해: 고해상도 시각적 품질, 정확한 입술 동기화, 낮은 계산 비용.
• 확산 기반 방법(높은 지연 시간)과 GAN 기반 방법(저자극적인 치아 세부 정보 또는 동기화 정확도 부족)의 한계를 극복하기 위해.
• 시각적 품질이나 신원 일관성 손실 없이도 실시간 추론(30 FPS)을 가능하게 하기 위해.
• 잠재 공간 내 새로운 이단계 훈련 전략을 통해 오디오-비디오 정렬을 최적화하기 위해.
• 공간적으로 선택적 샘플링을 통해 운동 유도 영역을 강조함으로써 치아 명료성과 입술 움직임 정확도를 향상시키기 위해.

제안 방법

• 면상 추상 훈련 단계에서 정보성 프레임 샘플링을 도입하여 기준 및 소스 자세 쌍 간의 시간적 정렬을 달성함으로써, 정체성 신호를 유지하면서도 불필요한 특징 간섭을 감소시킨다.
• 입술 동기화 적대적 미세조정 단계에서 동적 마진 샘플링을 활용하여 오디오-비디오 정렬을 위한 가장 관련성 있는 입술 영역 특징을 선택한다.
• 추론 시 효율적이고 고해상도의 생성을 가능하게 하는 잠재 공간 내 오디오-비디오 특징 융합 메커니즘을 설계한다.
• 이중 단계 훈련 파라다임을 적용: 먼저 다양한 표정 세트에서 사전 훈련을 수행한 후, 정밀한 입술 동기화를 위한 미세조정을 수행한다.
• 계산 부담을 줄이면서도 고해상도 출력을 유지하기 위해 시공간 샘플링 전략을 적용한다.
• V100 GPU를 활용하여 256×256 해상도에서 30 FPS 추론 성능을 달성함으로써 실시간 성능을 입증한다.

실험 결과

연구 질문

• RQ1 이단계 훈련 프레임워크는 실시간 비디오 더빙에서 고해상도 시각적 품질과 정확한 입술 동기화를 동시에 달성할 수 있는가?
• RQ2 정체성 일관성을 유지하면서도 훈련 중 불필요한 특징 간섭을 최소화하는 방법은 무엇인가?
• RQ3 잠재 공간 내 어떤 샘플링 전략이 입술 동기화 정확도와 치아 세부 정보 명료도를 동시에 극대화하는가?
• RQ4 동적 공간 샘플링은 전체 품질 저하 없이도 운동 유도 얼굴 영역에 대한 모델의 집중도를 향상시킬 수 있는가?
• RQ5 잠재 공간 내 시공간 샘플링은 시각적 품질 저하 없이도 실시간 추론을 가능하게 하는가?

주요 결과

• MuseTalk은 NVIDIA V100 GPU에서 256×256 해상도에서 30 FPS 추론 성능을 달성하여 실시간 성능을 입증한다.
• 시각적 품질 측정 지표인 인지적 품질 및 정체성 유지 지표에서 최신 기술들보다 뛰어난 성능을 보인다.
• 입술 동기화 정확도는 기존 GAN 기반 및 확산 기반 접근 방식과 비교해 유사하거나 뛰어나며, 특히 치아 세부 정보 유지 측면에서 뛰어나다.
• 정보성 프레임 샘플링은 사전 훈련 중 특징 중복을 감소시키고 정체성 일관성을 향상시킨다.
• 동적 마진 샘플링은 입술 영역에 대한 공간적 주의를 강화하여 오디오-비디오 정렬 정확도를 향상시킨다.
• 잠재 공간 융합과 시공간 샘플링의 조합은 최소한의 계산 오버헤드로도 고해상도 출력을 가능하게 한다.