[论文解读] High Fidelity Neural Audio Compression

Alexandre Défossez, Jade Copet+2 more|arXiv (Cornell University)|Oct 24, 2022

Speech and Audio Processing被引用 279

一句话总结

EnCodec 是一款实时神经网络音频编解码器，在端到端训练下实现高保真压缩，适用于 24 kHz 单声道和 48 kHz 立体声，结合 RVQ、感知判别器以及可选基于 Transformer 的熵编码，在低比特率下达到最先进的 MUSHRA 评分。

ABSTRACT

We introduce a state-of-the-art real-time, high-fidelity, audio codec leveraging neural networks. It consists in a streaming encoder-decoder architecture with quantized latent space trained in an end-to-end fashion. We simplify and speed-up the training by using a single multiscale spectrogram adversary that efficiently reduces artifacts and produce high-quality samples. We introduce a novel loss balancer mechanism to stabilize training: the weight of a loss now defines the fraction of the overall gradient it should represent, thus decoupling the choice of this hyper-parameter from the typical scale of the loss. Finally, we study how lightweight Transformer models can be used to further compress the obtained representation by up to 40%, while staying faster than real time. We provide a detailed description of the key design choices of the proposed model including: training objective, architectural changes and a study of various perceptual loss functions. We present an extensive subjective evaluation (MUSHRA tests) together with an ablation study for a range of bandwidths and audio domains, including speech, noisy-reverberant speech, and music. Our approach is superior to the baselines methods across all evaluated settings, considering both 24 kHz monophonic and 48 kHz stereophonic audio. Code and models are available at github.com/facebookresearch/encodec.

研究动机与目标

• 在流媒体场景中，解释高保真、低比特率神经音频压缩的需求。
• 提出一个端到端的流媒体编解码器，结合残差向量量化和感知损失以最小化伪影。
• 通过新颖的损失平衡器来稳定训练，并评估轻量级 Transformer 基熵编码的影响。

提出的方法

• 编码器-解码器卷积架构，产生潜在变量 z。
• 对编码器输出进行多码本的残差向量量化（RVQ）。
• 使用一个小型 Transformer 语言模型对离散的 RVQ 码进行熵编码。
• 基于多尺度 STFT 的判别器（MS-STFT），用于感知损失。
• 时域和频域重构损失，以及对抗损失和 RVQ 承诺损失。
• 一个损失平衡器，缩放梯度以在异构损失之间保持训练稳定。

实验结果

研究问题

• RQ1 一个流媒体神经音频编解码器是否能够在低比特率下在语音与音乐领域提供实时的高保真音频？
• RQ2 哪种架构和训练选择（RVQ、判别器、熵编码）能在 24–48 kHz 上实现最先进的感知质量？
• RQ3 梯度平衡器如何影响训练稳定性以及损失权重的可解释性？
• RQ4 在可接受的主观质量（MUSHRA）下，可以支持哪些带宽和采样率？

主要发现

• EnCodec 在 24 kHz 单声道和 48 kHz 立体声下，在多种比特率（1.5–12 kbps 24 kHz；6–24 kbps 48 kHz）实现了最先进的 MUSHRA 分数。
• 基于 Transformer 的熵编码在某些用例中可在不降低感知质量的情况下将带宽降低 20–40%。
• 基于 MS-STFT 的感知损失结合 RVQ 和适合流式处理的填充方式可产生高质量样本并实现稳定训练。
• 在 24 kHz 时初始延迟约为 13 ms，且在 6 kbps 时实现了实时流编码/解码；在 48 kHz 时延迟更高，但实现了实时处理。
• 消融研究表明 MS-STFT 判别器足以达到感知质量；额外的 MPD 增益边际有限。
• 立体声评估显示 EnCodec 在 64 kbps 时与 MP3 相当，在 6 kbps 时优于 Opus（用于音乐）。