[论文解读] Audio Super Resolution using Neural Networks

Volodymyr Kuleshov, S. Zayd Enam+1 more|arXiv (Cornell University)|Aug 2, 2017

Speech and Audio Processing参考文献 20被引用 39

一句话总结

本文提出一种用于音频超分率的深度卷积神经网络，通过学习从低分辨率输入预测高分辨率样本，实现对音频信号的上采样，其灵感源自图像超分率。在语音和音乐基准测试中，该方法在2×、4×和6×上采样倍率下均达到最先进性能，优于以往方法，且结构更简单、支持实时处理。

ABSTRACT

We introduce a new audio processing technique that increases the sampling rate of signals such as speech or music using deep convolutional neural networks. Our model is trained on pairs of low and high-quality audio examples; at test-time, it predicts missing samples within a low-resolution signal in an interpolation process similar to image super-resolution. Our method is simple and does not involve specialized audio processing techniques; in our experiments, it outperforms baselines on standard speech and music benchmarks at upscaling ratios of 2x, 4x, and 6x. The method has practical applications in telephony, compression, and text-to-speech generation; it demonstrates the effectiveness of feed-forward convolutional architectures on an audio generation task.

研究动机与目标

• 开发一种简单、可扩展的深度学习方法用于音频超分率，避免复杂的信号处理流水线。
• 将图像超分率技术扩展至音频领域，采用端到端神经网络。
• 通过从低分辨率输入重建高保真音频，提升电话通信、压缩和文本到语音等应用中的带宽扩展性能。
• 评估全卷积、前馈架构在原始音频生成任务中的有效性。
• 展示模型在不同音频领域（语音与音乐）之间的泛化能力，并分析各架构组件对性能的影响。

提出的方法

• 该模型使用深层残差网络和残差块，从低分辨率音频信号中提取分层特征。
• 采用子像素卷积层对特征图进行上采样，有效预测高分辨率音频样本。
• 网络在成对的低分辨率与高分辨率音频样本上进行端到端训练，使用预测结果与真实高分辨率信号之间的均方误差（MSE）作为损失函数。
• 架构中包含跳跃连接（包括加法连接与恒等连接），以稳定训练并改善梯度流动。
• 该方法在时间域上直接处理原始音频，无需手工设计的特征或信号处理变换。
• 模型为全前馈结构，推理效率高，支持实时处理（在Titan X GPU上每秒音频处理耗时0.11秒）

实验结果

研究问题

• RQ1 一个简单、端到端的深度学习模型能否在音频超分率任务中超越传统信号处理方法和先前的基于学习的方法？
• RQ2 全卷积、前馈架构在从低分辨率输入生成高保真音频方面效果如何？
• RQ3 在语音上训练的模型在音乐等非语音音频上的泛化能力如何，反之亦然？
• RQ4 哪些架构组件（如跳跃连接、残差块）在音频超分率任务中对性能最为关键？
• RQ5 与现有方法相比，该模型在数据集规模和计算资源增加时的扩展性能如何？

主要发现

• 所提方法在语音和音乐基准测试中，于2×、4×和6×上采样倍率下均优于基线技术。
• 在MultiSpeaker和Piano数据集上，该模型达到最先进性能，显著提升了主观质量与客观指标。
• 消融研究显示，对称跳跃连接对性能至关重要，而加法残差连接可带来额外的微小但可感知的性能增益。
• 当在语音上训练并在音乐上测试（反之亦然）时，模型泛化能力较差，表明存在领域特异性专长。
• 在大规模、多样化的MagnaTagATune数据集（200+小时，188种流派）上，模型出现欠拟合，性能无法超越样条基线，表明在缺乏更大模型和更多数据的情况下，泛化能力受限。
• 该模型可实现实时处理（在Titan X GPU上每秒音频处理耗时0.11秒），适用于电话通信、文本到语音和压缩等实际部署场景。