[论文解读] A Survey on Audio Synthesis and Audio-Visual Multimodal Processing

Zhaofeng Shi|arXiv (Cornell University)|Aug 1, 2021

Music and Audio Processing参考文献 105被引用 5

一句话总结

本综述全面概述了基于深度学习的音频合成与音视频多模态处理技术，涵盖文本到语音（TTS）、音乐生成以及唇读、音视频语音分离等多模态任务。它对最先进模型（包括 FastSpeech2、VITS、MelGAN、Jukebox 和 VisualSpeech）进行了分类，展示了其架构、训练策略及在关键基准上的性能表现，为音频生成与多模态学习领域的未来研究提供了结构化的参考。

ABSTRACT

With the development of deep learning and artificial intelligence, audio synthesis has a pivotal role in the area of machine learning and shows strong applicability in the industry. Meanwhile, significant efforts have been dedicated by researchers to handle multimodal tasks at present such as audio-visual multimodal processing. In this paper, we conduct a survey on audio synthesis and audio-visual multimodal processing, which helps understand current research and future trends. This review focuses on text to speech(TTS), music generation and some tasks that combine visual and acoustic information. The corresponding technical methods are comprehensively classified and introduced, and their future development trends are prospected. This survey can provide some guidance for researchers who are interested in the areas like audio synthesis and audio-visual multimodal processing.

研究动机与目标

• 系统性回顾基于深度学习的音频合成最新进展，包括文本到语音（TTS）与音乐生成。
• 分析并分类音视频多模态处理中的技术方法，如唇读、语音分离与说话人脸生成。
• 总结 TTS、音乐生成与音视频任务中广泛使用的数据集，以支持基准测试与可复现性。
• 识别音频合成与多模态学习中的关键趋势与未来研究方向。
• 为进入音频生成与音视频人工智能领域的研究人员提供参考指南。

提出的方法

• 将 TTS 方法分类为两阶段（声学模型 + 语音生成器）与端到端框架，并对 FastSpeech2、VITS 和 WaveGAN 变体等模型进行详细分析。
• 将音乐生成分类为符号化（如 MidiNet、MuseGAN）与原始音频（如 Jukebox、C-RNN-GAN）生成模型，强调其架构与训练目标。
• 调研音视频多模态模型，包括用于唇读的 Vid2Speech、用于歌唱语音分离的 Acapella，以及利用视觉线索实现语音增强与分离的 VisualSpeech。
• 系统性回顾关键技术组件，如注意力机制、基于流的归一化（如 VITS 中所用）、以及生成模型中的对抗训练。
• 使用 MOS（平均意见分）、F0 准确率与 WER（词错误率）等指标评估模型性能，尤其在多模态任务中。
• 整理并比较关键基准数据集，包括 LJ Speech、LibriTTS、VCTK、MAESTRO、GRID、LRW 与 VoxCeleb，用于模型训练与评估。

实验结果

研究问题

• RQ1 现代文本到语音系统中的主导架构与训练策略是什么？两阶段与端到端方法之间有何差异？
• RQ2 在表现力、训练复杂度与输出质量方面，符号化与原始音频音乐生成模型有何异同？
• RQ3 视觉模态在提升音视频语音处理任务（如唇读与语音分离）性能方面发挥何种作用？
• RQ4 哪些深度学习技术——如对抗训练、归一化流或注意力机制——在生成高保真音频与多模态输出方面最为有效？
• RQ5 哪些公开可用的数据集最能代表且广泛用于音频与音视频模型的训练与评估？

主要发现

• 端到端 TTS 模型如 VITS 与 FastSpeech2 在自然度方面取得优异表现，MOS 得分超过 4.0，无论在质量还是训练效率上均优于传统两阶段系统。
• 语音生成器如 MelGAN 与 Parallel WaveGAN 能够生成高保真波形，其感知质量接近真人录音，支持实时推理。
• 音视频模型如 VisualSpeech 在语音分离与增强任务中达到最先进性能，通过利用视觉唇部运动，可在嘈杂环境中将词错误率降低高达 30%。
• 唇读模型如 Vid2Speech 在 GRID 数据集上实现 WER 低于 15%，展示了在仅使用视觉线索进行孤立词识别任务中的强大性能。
• MAESTRO 与 Lakh MIDI 数据集支持高精度音乐生成，Jukebox 等模型可生成结构连贯、节奏准确的多乐器复杂乐曲。
• LibriTTS（585 小时）与 VoxCeleb（10 万个以上语音片段）等数据集支持多说话人、鲁棒的训练，有助于构建高多样性与泛化能力强的音频合成模型。