[论文解读] Seamless: Multilingual Expressive and Streaming Speech Translation

Seamless Communication, Loïc Barrault+63 more|arXiv (Cornell University)|Dec 8, 2023

Topic Modeling被引用 39

一句话总结

论文介绍 SeamlessM4T v2, SeamlessExpressive, and SeamlessStreaming，以实现端到端的多语言、富表达和流式语音翻译，并公开发布模型、数据和安全工具。

ABSTRACT

Large-scale automatic speech translation systems today lack key features that help machine-mediated communication feel seamless when compared to human-to-human dialogue. In this work, we introduce a family of models that enable end-to-end expressive and multilingual translations in a streaming fashion. First, we contribute an improved version of the massively multilingual and multimodal SeamlessM4T model-SeamlessM4T v2. This newer model, incorporating an updated UnitY2 framework, was trained on more low-resource language data. SeamlessM4T v2 provides the foundation on which our next two models are initiated. SeamlessExpressive enables translation that preserves vocal styles and prosody. Compared to previous efforts in expressive speech research, our work addresses certain underexplored aspects of prosody, such as speech rate and pauses, while also preserving the style of one's voice. As for SeamlessStreaming, our model leverages the Efficient Monotonic Multihead Attention mechanism to generate low-latency target translations without waiting for complete source utterances. As the first of its kind, SeamlessStreaming enables simultaneous speech-to-speech/text translation for multiple source and target languages. To ensure that our models can be used safely and responsibly, we implemented the first known red-teaming effort for multimodal machine translation, a system for the detection and mitigation of added toxicity, a systematic evaluation of gender bias, and an inaudible localized watermarking mechanism designed to dampen the impact of deepfakes. Consequently, we bring major components from SeamlessExpressive and SeamlessStreaming together to form Seamless, the first publicly available system that unlocks expressive cross-lingual communication in real-time. The contributions to this work are publicly released and accessible at https://github.com/facebookresearch/seamless_communication

研究动机与目标

• 满足在多语言场景中保持语音风格与韵律的自然、富表达且流式语音翻译的需求。
• 开发与提升基础的多语言多模态模型（SeamlessM4T v2），以支持富表达和流式S2ST。
• 引入两个专门模型（SeamlessExpressive 和 SeamlessStreaming），用于语音风格保持和低延迟、多对多翻译。
• 提供全面的评估流程（自动与人工），覆盖表达性、鲁棒性、延迟和语义。
• 在可问责的AI实践方面取得进展，进行红队演练、毒性和偏见评估，以及水印技术，并公开工具。

提出的方法

• 通过 UnitY2 提升 SeamlessM4T，以实现高效的单元预测与上采样。
• 在大规模未标注数据上对广泛的多语言多模态模型（SeamlessM4T v2）进行预训练，并使用自动对齐的对来微调以支持低资源语言。
• 开发 SeamlessExpressive，以在多种语言（英语、法语、德语、意大利语、普通话、西班牙语）之间保持语音风格与韵律。
• 开发 SeamlessStreaming，使用 Efficient Monotonic Multihead Attention (EMMA) 实现低延迟的多对多流式翻译（语音到语音/文本）。
• 创建新颖的自动表达性指标（AutoPCP 节奏评估），并改编人类评估指标（MOS、XSTS、PCP）用于表达性和语义评估。
• 实现全面的负责任AI工具包，包括红队演练、毒性缓解、性别偏见评估，以及不可听见的水印机制（SeamlessWM）。

实验结果

研究问题

• RQ1 如何让单一的多语言模型在大规模下支持富表达、流式和跨语言的语音翻译？
• RQ2 在保持语义保真度的同时，表达性S2ST是否能跨语言保持节奏、停顿和语音风格？
• RQ3 在实时场景中，多语言S2ST的有效低延迟流式策略是什么？
• RQ4 如何在多语言富表达S2ST系统中检测并缓解安全、偏见和滥用？
• RQ5 在真实场景中，哪些评估协议能最好地捕捉表达性、鲁棒性和延迟？

主要发现

• SeamlessM4T v2 在约100种语言的语音与文本翻译任务中实现了最先进的语义准确度。
• SeamlessExpressive 使翻译在六种语言中保持语音风格与韵律，包括语速和停顿。
• SeamlessStreaming 使用 EMMA 提供低延迟的多对多流式翻译，适用于语音到语音和语音到文本的输出。
• 集成系统 Seamless 将表达性和流式组件结合起来，实现实时的富表达跨语言通信。
• 全面的评估套件（自动与人工）结合自定义指标和红队演练，展示性能、安全性和偏见考量。
• 所有模型、数据和工具，包括水印检测器，已公开发布。