[论文解读] AudioLDM 2: Learning Holistic Audio Generation with Self-supervised Pretraining

Haohe Liu, Yi Yuan+8 more|arXiv (Cornell University)|Aug 10, 2023

Music and Audio Processing被引用 5

一句话总结

AudioLDM 2 提出了一种统一的框架，用于文本到音频、文本到音乐以及文本到语音的生成，通过一种新颖的‘音频语言’（LOA）表征实现共享学习方法。通过利用自监督的 AudioMAE 特征作为 LOA，并使用基于 GPT-2 的序列模型对潜在扩散模型进行条件控制，该框架在多种音频生成基准上实现了最先进性能，支持上下文学习和可重用的预训练组件。

ABSTRACT

Although audio generation shares commonalities across different types of audio, such as speech, music, and sound effects, designing models for each type requires careful consideration of specific objectives and biases that can significantly differ from those of other types. To bring us closer to a unified perspective of audio generation, this paper proposes a framework that utilizes the same learning method for speech, music, and sound effect generation. Our framework introduces a general representation of audio, called "language of audio" (LOA). Any audio can be translated into LOA based on AudioMAE, a self-supervised pre-trained representation learning model. In the generation process, we translate any modalities into LOA by using a GPT-2 model, and we perform self-supervised audio generation learning with a latent diffusion model conditioned on LOA. The proposed framework naturally brings advantages such as in-context learning abilities and reusable self-supervised pretrained AudioMAE and latent diffusion models. Experiments on the major benchmarks of text-to-audio, text-to-music, and text-to-speech demonstrate state-of-the-art or competitive performance against previous approaches. Our code, pretrained model, and demo are available at https://audioldm.github.io/audioldm2.

研究动机与目标

• 开发一个统一的音频生成框架，消除在语音、音乐和音效任务中对特定领域归纳偏置的需求。
• 通过共享的语义表征，实现对文本、音频、图像或视频等多种输入的灵活条件控制。
• 通过利用自监督预训练和上下文学习，提升生成质量和可控性。
• 在无需任务特定架构修改的前提下，证明在文本到音频、文本到音乐和文本到语音任务中均达到最先进性能。

提出的方法

• 该框架引入了‘音频语言’（LOA），即从 AudioMAE 模型（一种在多样化音频数据上预训练的自监督音频表征模型）中提取的向量序列。
• 微调一个 GPT-2 模型，将其用于将多种条件输入（如文本、音频、图像等）转换为 LOA 序列，从而实现灵活且语义感知的条件控制。
• 将潜在扩散模型（LDM）基于 LOA 序列进行条件控制，以在潜在空间中生成高保真度音频，其预训练基于大规模未标注音频数据。
• 对 GPT-2 和 LDM 组件进行联合微调，以改善文本与音频生成之间的对齐，提升语义一致性。
• 通过引入 FLAN-T5 和 CLAP 嵌入的交叉注意力机制，增强语义条件控制，改善音频与文本的对齐效果。
• 通过使用真实音频的前缀作为上下文，实现上下文学习，使模型能够生成与说话人风格和声学上下文一致的音频。

Figure 1: The overview of the AudioLDM 2 architecture. The AudioMAE feature is a proxy that bridges the conditioning information to LOA translation stage (modelled by GPT-2) and the LOA to audio generation stage (modelled by the latent diffusion model). The probabilistic switcher controls the probab

实验结果

研究问题

• RQ1 能否构建一个无需为语音、音乐和音效任务引入特定任务归纳偏置的统一音频生成框架？
• RQ2 共享的自监督音频表征（LOA）是否能有效支持多样化的音频生成任务？
• RQ3 将潜在扩散模型基于 GPT-2 生成的 LOA 序列进行条件控制，是否能提升生成质量与可控性？
• RQ4 上下文学习在多大程度上提升了音频生成的保真度与风格一致性？
• RQ5 不同条件控制组件（CLAP、FLAN-T5、交叉注意力）在音频-文本对齐与生成质量方面分别起到何种贡献？

主要发现

• AudioLDM 2 在 AudioCaps 数据集上实现了 1.67 的最先进 FAD 指标，显著优于先前方法。
• 该模型在无预训练条件下仍达到 3.65 的 MOS 分数，与基线 FastSpeech2 的 3.78 水平相当。
• 消融实验表明，GPT-2 与 LDM 的联合微调可提升所有指标，若移除联合训练，FAD 上升至 2.24。
• 在 T-UNet 中移除 FLAN-T5 交叉注意力机制后，KL 散度增加 20%（从 1.01 上升至 1.30），表明音频质量下降。
• 当仅使用 CLAP 作为输入时，CLAP 得分略微提升至 25.0，表明与评估指标的直接对齐可提升性能。
• 上下文学习实现了稳定的说话人风格迁移，模型生成的音频既符合文本描述，也匹配提供的音频上下文。

Figure 2: The influence of $\lambda$ on audio reconstruction from LOA $Y_{\lambda}$ . The reconstruction closely resembles the ground truth when $\lambda=1$ , suggesting that $Y_{\lambda=1}$ retains sufficient audio details. However, with $\lambda=2~{}\text{or}~{}4$ , the reconstruction diverges sli