[论文解读] A Streamlined Encoder/Decoder Architecture for Melody Extraction

Tsung‐Han Hsieh, Li Su+1 more|arXiv (Cornell University)|Oct 30, 2018

Music and Audio Processing参考文献 24被引用 5

一句话总结

该论文提出了一种简化的7层编码器/解码器网络用于旋律提取，通过在瓶颈层集成非旋律检测器，消除了后处理中的二值化步骤。通过利用池化索引进行频率定位，并在显著性图上使用argmax操作，该模型在人声和通用旋律数据集上实现了最先进性能，且模型架构显著简化，无需人工设定阈值。

ABSTRACT

Melody extraction in polyphonic musical audio is important for music signal processing. In this paper, we propose a novel streamlined encoder/decoder network that is designed for the task. We make two technical contributions. First, drawing inspiration from a state-of-the-art model for semantic pixel-wise segmentation, we pass through the pooling indices between pooling and un-pooling layers to localize the melody in frequency. We can achieve result close to the state-of-the-art with much fewer convolutional layers and simpler convolution modules. Second, we propose a way to use the bottleneck layer of the network to estimate the existence of a melody line for each time frame, and make it possible to use a simple argmax function instead of ad-hoc thresholding to get the final estimation of the melody line. Our experiments on both vocal melody extraction and general melody extraction validate the effectiveness of the proposed model.

研究动机与目标

• 开发一种更简单、更具可解释性的神经网络架构用于旋律提取，与现有最先进模型相比降低模型复杂度。
• 通过在瓶颈层直接估计每帧的旋律存在性，消除后处理中对人工设定阈值的依赖。
• 通过在编码器和解码器层之间传递池化索引，提升频率定位精度，灵感来源于语义分割方法。
• 在保持极简架构复杂度的前提下，在人声和通用旋律提取基准上实现具有竞争力的性能。
• 实现端到端训练与推理，无需额外的二值化步骤，从而提高模型的可靠性与可解释性。

提出的方法

• 该模型采用7层编码器/解码器架构，编码器部分包含三层卷积与最大池化层，解码器部分包含三层转置卷积与反池化层。
• 编码器最大池化层生成的池化索引被传递至解码器中对应的反池化层，以保留空间与频率分辨率，提升定位精度。
• 从瓶颈层分支出一个独立分支，用于预测非旋律帧的存在，从而支持通过简单argmax操作实现输出的二值化，无需设定阈值。
• 显著性图输出通过将解码器输出与非旋律预测结果拼接生成，实现对旋律线的直接估计。
• 模型使用基于CQT的时频表示，人声任务使用320个频带，通用任务使用400个频带，通用旋律任务的最终池化层采用5x1卷积核。
• 训练采用监督学习，基于真实标签的二值F0矩阵使用交叉熵损失，模型在单张GTX 1080ti上训练不到20分钟即可收敛。

实验结果

研究问题

• RQ1 是否可以通过显著简化的编码器/解码器架构，在无需复杂残差块或金字塔池化结构的情况下实现旋律提取的最先进性能？
• RQ2 在编码器与解码器层之间使用池化索引是否能提升旋律提取中的频率定位精度？
• RQ3 在瓶颈层集成内置非旋律检测器是否能消除后处理中对人工设定阈值的需求？
• RQ4 在MedleyDB和ADC2004等多样化数据集上，该模型与现有方法相比在准确率与鲁棒性方面表现如何？
• RQ5 基于argmax的二值化方法是否相比基于阈值的方法具有更好的泛化能力与更低的误报率？

主要发现

• 在MedleyDB人声旋律数据集上，该模型实现了83.7%的最高总体准确率（OA），优于DSM与Lu & Su的模型。
• 在MedleyDB通用旋律数据集上，该模型达到64.3%的OA，优于DSM（61.7%），与CRNN持平（64.3%），同时使用了更简单的架构。
• 在MedleyDB人声旋律任务中，该模型将语音活动误报率（VFA）降低至13.3%，显著低于DSM的48.7%与Lu & Su的22.4%，表明其具有更强的噪声抑制能力。
• 在移除非旋律检测器的消融实验中，OA仅为68.4%，证实了内置检测器在性能中的关键作用。
• 在所有四个数据集的全部五个指标上，该模型均优于其消融变体，证明了非旋律检测组件的有效性。
• 将CFP替换为CQT导致人声旋律任务的OA下降约10%，凸显了基于CFP表示对性能的关键影响。