[论文解读] Large-scale multilingual audio visual dubbing

Yi Yang, Brendan Shillingford+10 more|arXiv (Cornell University)|Nov 6, 2020

Music and Audio Processing参考文献 38被引用 12

一句话总结

本文提出了一套大规模多语言音视频配音系统，通过合成翻译后的语音和同步的口部动作，将视频内容翻译为目标语言。该系统采用在特定说话人数据上微调过的多语言、多说话人唇形同步模型，实现了高度自然的语音与视觉同步，显著提升了跨语言障碍的教育内容参与度和可访问性。

ABSTRACT

We describe a system for large-scale audiovisual translation and dubbing, which translates videos from one language to another. The source language's speech content is transcribed to text, translated, and automatically synthesized into target language speech using the original speaker's voice. The visual content is translated by synthesizing lip movements for the speaker to match the translated audio, creating a seamless audiovisual experience in the target language. The audio and visual translation subsystems each contain a large-scale generic synthesis model trained on thousands of hours of data in the corresponding domain. These generic models are fine-tuned to a specific speaker before translation, either using an auxiliary corpus of data from the target speaker, or using the video to be translated itself as the input to the fine-tuning process. This report gives an architectural overview of the full system, as well as an in-depth discussion of the video dubbing component. The role of the audio and text components in relation to the full system is outlined, but their design is not discussed in detail. Translated and dubbed demo videos generated using our system can be viewed at https://www.youtube.com/playlist?list=PLSi232j2ZA6_1Exhof5vndzyfbxAhhEs5

研究动机与目标

• 通过实现教育视频在多种语言中的大规模翻译，解决在线教育中的语言障碍。
• 通过用保留自然口部动作的音视频配音替代字幕，提升观众参与度。
• 开发一种能够无缝同步翻译后语音与逼真、说话人特定口部动作的系统。
• 通过极少的说话人特定数据微调实现可扩展的自动化配音。
• 通过在多种语言中提供高感知质量的内容，使教育内容更具可及性。

提出的方法

• 收集并使用了涵盖20种语言的3,700小时大规模多说话人视觉语音数据集，用于预训练多说话人唇形同步模型。
• 该唇形同步模型采用带有三个独立编码器（分别处理视频帧、参考帧和音频嵌入）的残差U-Net结构，并通过解码器生成嘴部区域帧。
• 使用少量辅助说话人数据或目标视频本身作为输入，对说话人特定数据进行微调。
• 语音翻译由一个在数千小时数据上训练的说话人自适应文本到语音（TTS）模型处理，并针对每个说话人进行微调。
• 系统通过调整语速使翻译后音频时长与原始视频对齐，随后应用唇形同步模型生成同步的面部帧。
• 最终视频输出通过图像处理技术将预测的唇部帧与原始视频混合，以保持身份和光照一致性。

实验结果

研究问题

• RQ1 一个单一的大规模唇形同步模型是否能在跨多种语言和说话人的情况下保持与翻译后语音的高同步性？
• RQ2 使用极少数据（如几分钟视频）进行说话人特定微调，在提升口部动作真实感和同步性方面效果如何？
• RQ3 将预训练的多语言模型与说话人特定适应相结合，对感知自然度和音视频对齐的影响是什么？
• RQ4 与字幕相比，该系统在非母语学习者的用户参与度、空间沉浸感和理解力方面表现如何？
• RQ5 该系统在音视频翻译过程中，能在多大程度上保留原始说话人的身份和视觉特征？

主要发现

• 在预训练权重和说话人特定数据上同时微调的模型在自然度（3.04 ± 0.07）和同步性（2.12 ± 0.05）方面取得了最高的平均意见得分（MOS）。
• 仅通过微调提升了图像质量，但导致音视频同步性下降，表明预训练作为基础至关重要。
• 仅使用预训练模型的得分在自然度（2.35 ± 0.07）和同步性（1.93 ± 0.04）方面均较低，凸显了说话人适应的优势。
• 该系统在多种语言中表现优异，多语言模型在多语言测试集上的同步性MOS达到78.5。
• 主观评估证实，结合预训练与微调显著优于单独使用任一方法，在自然度和唇形同步准确性方面均表现更优。
• 该系统成功生成了带有可见水印和已获授权内容的合成视频，在降低滥用风险的同时，有效提升了教育可访问性。