[論文レビュー] MuseTalk: Real-Time High-Fidelity Video Dubbing via Spatio-Temporal Sampling

Yue Zhang, Zhong, Zhizhou+8 more|arXiv (Cornell University)|Oct 14, 2024

Speech and Audio Processing被引用数 4

ひとこと要約

MuseTalkは、潜在空間における空間時間的サンプリングを活用することで、NVIDIA V100で256×256解像度で30 FPSを達成する、リアルタイムで高精細なビデオダブイングのための2段階フレームワークを導入した。視覚的精細度と口元同期のトレードオフを、情報豊かなフレームサンプリングと動的マージンサンプリングにより解消し、視覚的品質において先行手法を上回りながらも、良好な同期を維持する。

ABSTRACT

Real-time video dubbing that preserves identity consistency while achieving accurate lip synchronization remains a critical challenge. Existing approaches face a trilemma: diffusion-based methods achieve high visual fidelity but suffer from prohibitive computational costs, while GAN-based solutions sacrifice lip-sync accuracy or dental details for real-time performance. We present MuseTalk, a novel two-stage training framework that resolves this trade-off through latent space optimization and spatio-temporal data sampling strategy. Our key innovations include: (1) During the Facial Abstract Pretraining stage, we propose Informative Frame Sampling to temporally align reference-source pose pairs, eliminating redundant feature interference while preserving identity cues. (2) In the Lip-Sync Adversarial Finetuning stage, we employ Dynamic Margin Sampling to spatially select the most suitable lip-movement-promoting regions, balancing audio-visual synchronization and dental clarity. (3) MuseTalk establishes an effective audio-visual feature fusion framework in the latent space, delivering 30 FPS output at 256*256 resolution on an NVIDIA V100 GPU. Extensive experiments demonstrate that MuseTalk outperforms state-of-the-art methods in visual fidelity while achieving comparable lip-sync accuracy. %The codes and models will be made publicly available upon acceptance. The code is made available at \href{https://github.com/TMElyralab/MuseTalk}{https://github.com/TMElyralab/MuseTalk}

研究の動機と目的

• リアルタイムビデオダブイングにおける三重のジレンマ（高視覚的精細度、正確な口元同期、低計算コスト）を解決すること。
• 拡散モデルベースの手法（高遅延）およびGANベースの手法（歯のディテールや同期精度が低い）の限界を克服すること。
• 視覚的品質やアイデンティティの一貫性を損なわず、リアルタイム推論（30 FPS）を実現すること。
• 潜在空間における新規な2段階トレーニング戦略を通じて、音声と視覚の整合性を最適化すること。
• 空間的に選択的なサンプリングにより、歯の明瞭性と口元の動きの正確性を向上させること。

提案手法

• 顔の抽象的事前学習段階で情報豊かなフレームサンプリングを導入し、参照画像とソースポーズペアの時間的整合性を高め、不要な特徴干渉を低減するとともにアイデンティティの手がかりを保持する。
• 口元同期の敵対的微調整段階で動的マージンサンプリングを採用し、音声と視覚の整合性に最も関連する口元領域の特徴を選択する。
• 推論時に効率的で高精細な生成を可能にする潜在空間における音声視覚特徴統合機構を設計する。
• 2段階のトレーニングパラダイムを採用：まず多様な顔の表情で事前学習を行い、次に正確な口元同期のための微調整を行う。
• 計算負荷を低減しながら高解像度出力を維持するため、空間時間的サンプリング戦略を適用する。
• V100 GPUを活用し、256×256解像度で30 FPSの推論を達成し、リアルタイム性能を実証する。

実験結果

リサーチクエスチョン

• RQ1 2段階のトレーニングフレームワークは、リアルタイムビデオダブイングにおいて高視覚的精細度と正確な口元同期の両方を達成できるか？
• RQ2 アイデンティティの一貫性を保持しつつ、トレーニング中に不要な特徴干渉を最小限に抑えるにはどうすればよいか？
• RQ3 潜在空間におけるどのサンプリング戦略が、口元同期の正確性と歯のディテールの明瞭性の両方を最大化するか？
• RQ4 動的空間的サンプリングは、全体の品質を損なわず、動きを促進する顔領域にモデルの注目を集中させることができるか？
• RQ5 潜在空間における空間時間的サンプリングは、視覚的精細度を損なわずリアルタイム推論を可能にするか？

主な発見

• MuseTalkは、NVIDIA V100 GPUで256×256解像度で30 FPSの推論を達成し、リアルタイム性能を実証した。
• 視覚的精細度において、知覚的評価およびアイデンティティ保持メトリクスで最先端の手法を上回った。
• 口元同期の正確性は、既存のGANベースおよび拡散モデルベースの手法と同等またはそれ以上であり、特に歯のディテールの保持において優れた性能を示した。
• 情報豊かなフレームサンプリングにより、事前学習段階で特徴の重複を低減し、アイデンティティの一貫性が向上した。
• 動的マージンサンプリングにより、口元領域への空間的注目が強化され、より正確な音声視覚同期が実現した。
• 潜在空間統合と空間時間的サンプリングの組み合わせにより、最小限の計算オーバーヘッドで高精細な出力を実現した。