[论文解读] Audio inpainting of music by means of neural networks

Andr eacute Marafioti, Nicki Holighaus+2 more|arXiv (Cornell University)|Oct 29, 2018

Music and Audio Processing被引用 8

一句话总结

本文提出了一种基于上下文编码器架构的深度神经网络（DNN），利用冗余短时傅里叶变换（STFT）得到的时频（TF）系数，重建音乐和乐器音频中的缺失音频段（48–64 ms）。与线性预测编码（LPC）相比，该模型在音乐信号的幅度谱信噪比（SNR）方面表现更优，证明了DNN在实现感知相关重建的音频修复任务中的有效性。

ABSTRACT

We studied the ability of deep neural networks (DNNs) to restore missing audio content based on its context, a process usually referred to as audio inpainting. We focused on gaps in the range of tens of milliseconds. The proposed DNN structure was trained on audio signals containing music and musical instruments, separately, with 64-ms long gaps. The input to the DNN was the context, i.e., the signal surrounding the gap, transformed into time-frequency (TF) coefficients. Our results were compared to those obtained from a reference method based on linear predictive coding (LPC). For music, our DNN significantly outperformed the reference method, demonstrating a generally good usability of the proposed DNN structure for inpainting complex audio signals like music.

研究动机与目标

• 开发一种基于深度神经网络的音频修复方法，利用上下文信息重建缺失的音频段。
• 评估所提出的DNN与传统LPC方法在音乐和孤立乐器信号上的性能表现。
• 研究模型在训练时未涵盖的更短缺失段（如48 ms）上的泛化能力。
• 探索使用可逆时频表示（STFT）以实现稳健的音频重建。
• 评估针对复杂音频混合信号专门设计的模型在提升性能方面的潜力。

提出的方法

• 该模型使用卷积神经网络（CNN）结合全连接层，基于时频域中周围上下文信息预测缺失的幅度谱系数。
• 输入特征为通过冗余短时傅里叶变换（STFT）获得的时频系数，确保可逆性以实现时域信号重建。
• 网络仅训练重建幅度谱；相位通过相位重建算法恢复，以合成最终音频信号。
• 该架构采用无监督方式训练，基于上下文样本预测，类似于自编码器的上下文编码器（CE）结构。
• 模型在孤立乐器和多声部音乐上均进行评估，性能通过幅度谱信噪比（MS-SNR）衡量。
• 通过前向、后向和中心扩展方式，测试模型在更短缺失段（48 ms）上的泛化能力，使用训练于64 ms缺失段的模型进行扩展。

实验结果

研究问题

• RQ1 深度神经网络能否在音乐信号的短时音频缺失段（48–64 ms）重建中优于传统LPC方法？
• RQ2 模型在孤立乐器与复杂多声部音乐之间的性能表现有何差异？
• RQ3 在训练时仅针对64 ms缺失段的模型，能在多大程度上泛化至更短缺失段（如48 ms）的重建？
• RQ4 使用冗余STFT作为可逆输入表示，是否能实现稳健且感知准确的音频重建？
• RQ5 针对特定流派或乐器训练的专用模型，是否能在音频修复任务中优于通用模型？

主要发现

• 对于音乐信号，所提出的DNN平均MS-SNR达到8.0 dB，显著优于LPC方法的6.9 dB，表明重建质量更优。
• 对于孤立乐器，LPC方法优于DNN，平均MS-SNR分别为33.2 dB和21.6 dB。
• DNN在更短缺失段上表现出良好的泛化能力：使用训练于64 ms缺失段的模型重建48 ms缺失段时，前向、后向和中心扩展方式的性能保持一致。
• DNN在音乐信号上表现更优的原因在于其能够有效建模瞬态事件和频率调制，而LPC难以捕捉这些特征。
• 模型在不同缺失段扩展策略下性能稳定，SNR无显著下降，表明对缺失段长度变化具有鲁棒性。
• 初步测试显示，增加网络深度仅带来微小性能提升，表明模型架构设计与组件选择比网络深度本身更为关键。