[论文解读] Between Homomorphic Signal Processing and Deep Neural Networks: Constructing Deep Algorithms for Polyphonic Music Transcription

Li Su|arXiv (Cornell University)|Jun 26, 2017

Music and Audio Processing参考文献 45被引用 3

一句话总结

该论文提出了一种新颖的深度算法用于同声音乐转录，通过统一同态信号处理与深度神经网络（DNNs），证明了频谱的广义倒谱（GCoS）——一种基于DFT的三层特征，带有非线性激活——在检测缺失基频和提升噪声鲁棒性方面优于传统方法，尤其在低信噪比（SNR）条件下表现更优。

ABSTRACT

This paper presents a new approach in understanding how deep neural networks (DNNs) work by applying homomorphic signal processing techniques. Focusing on the task of multi-pitch estimation (MPE), this paper demonstrates the equivalence relation between a generalized cepstrum and a DNN in terms of their structures and functionality. Such an equivalence relation, together with pitch perception theories and the recently established rectified-correlations-on-a-sphere (RECOS) filter analysis, provide an alternative way in explaining the role of the nonlinear activation function and the multi-layer structure, both of which exist in a cepstrum and a DNN. To validate the efficacy of this new approach, a new feature designed in the same fashion is proposed for pitch salience function. The new feature outperforms the one-layer spectrum in the MPE task and, as predicted, it addresses the issue of the missing fundamental effect and also achieves better robustness to noise.

研究动机与目标

• 弥合同态信号处理与深度神经网络在多音高估计（MPE）背景下的概念鸿沟。
• 利用信号处理原理解释DNN中非线性激活与多层结构的功能作用。
• 开发一种新的音高显著性特征GCoS，灵感源自RECOS滤波器分析与同态处理。
• 验证所提方法在检测缺失基频与MPE任务中对噪声的鲁棒性方面的优越性。

提出的方法

• 提出广义倒谱的频谱（GCoS），一种结合DFT、高通滤波与非线性激活的三层特征提取框架。
• 将RECOS滤波器框架应用于建模DNN层为滤波器，以消除负相关分量，提升特征区分能力。
• 在傅里叶域中使用分段乘法模拟非线性激活，借鉴同态信号处理与倒谱理论。
• 采用幂律非线性函数（如分贝或Stevens定律）建模感知尺度，使激活函数具有心理声学基础。
• 通过级联DFT矩阵与非线性操作构建类似DNN的架构，从音频频谱中提取谐波模式。
• 使用DFT矩阵初始化网络参数，以利用已知的谱周期性，实现更好的收敛性与可解释性。

实验结果

研究问题

• RQ1 同态信号处理技术能否解释DNN中非线性激活与多层结构在MPE中的功能作用？
• RQ2 由DFT与非线性操作构建的类似DNN的架构是否在缺失基频检测任务中优于标准谱特征？
• RQ3 所提出的GCoS特征在同声音乐转录中对噪声的鲁棒性提升程度如何？
• RQ4 RECOS滤波器框架能否用于解释并统一传统音高检测方法与现代DNN？
• RQ5 在不同数据集上，所提方法与基线谱特征相比，在精确率、召回率与F1值方面的表现如何？

主要发现

• 与基线相比，GCoS在MAPS数据集的低音音高范围中F1值提升1.24%，在TRIOS数据集中提升1.39%。
• 在低信噪比条件（低于10 dB）下，GCoS的F1值提升超过5%，表明其具有强噪声鲁棒性。
• 该方法无需手工规则即可成功检测缺失基频，在MAPS低音集上召回率提升9.33%，尽管精确率下降24.37%。
• 不同数据集间精确率与召回率提升不一致（如MAPS与TRIOS对比）可归因于背景噪声水平差异，其中合成数据（TRIOS）的精确率更高。
• GCoS在所有评估的音高范围与数据集中均优于单层谱特征，证实其具备更强的表征学习能力。
• 理论分析表明，GCoS的DNN式结构与RECOS滤波器框架一致，其中非线性激活可消除负相关分量，从而提升区分能力。