[论文解读] Deep Layered Learning in MIR

Anders Elowsson|arXiv (Cornell University)|Apr 18, 2018

Music and Audio Processing参考文献 51被引用 3

一句话总结

本文提出深度分层学习（DLL），一种用于音乐信息检索（MIR）的模块化、分层深度学习框架，通过使用中间表示（如音高、和弦、节奏）作为先验，以提升泛化能力和结构不变性。通过将学习模块组织为有向无环图，并利用中间监督信号引导端到端训练，DLL 在由帧级基频估计引导时，显著提升了音高追踪性能，特别是在音符释放时刻检测方面。

ABSTRACT

Deep learning has boosted the performance of many music information retrieval (MIR) systems in recent years. Yet, the complex hierarchical arrangement of music makes end-to-end learning hard for some MIR tasks - a very deep and flexible processing chain is necessary to model some aspect of music audio. Representations involving tones, chords, and rhythm are fundamental building blocks of music. This paper discusses how these can be used as intermediate targets and priors in MIR to deal with structurally complex learning problems, with learning modules connected in a directed acyclic graph. It is suggested that this strategy for inference, referred to as deep layered learning (DLL), can help generalization by (1) - enforcing the validity and invariance of intermediate representations during processing, and by (2) - letting the inferred representations establish the musical organization to support higher-level invariant processing. A background to modular music processing is provided together with an overview of previous publications. Relevant concepts from information processing, such as pruning, skip connections, and performance supervision are reviewed within the context of DLL. A test is finally performed, showing how layered learning affects pitch tracking. It is indicated that especially offsets are easier to detect if guided by extracted framewise fundamental frequencies.

研究动机与目标

• 解决端到端MIR系统中建模复杂、分层音乐结构的挑战。
• 通过强制实现有效的中间表示，提升音乐表征学习中的泛化能力和结构不变性。
• 将模块化处理链与音乐先验（如音高、和弦、节奏）相结合，以指导高层推理。
• 探索剪枝、跳跃连接和性能监督在分层深度学习架构中的作用。
• 在音高追踪任务中展示DLL的有效性，特别是在释放时刻检测方面。

提出的方法

• 设计一个学习模块的有向无环图（DAG），每个模块负责提取特定的音乐表示（如音高、和弦、节奏）。
• 在训练过程中使用中间表示作为监督目标，以强制实现有效性和不变性。
• 集成跳跃连接和剪枝机制，以稳定训练并改善梯度流动。
• 应用性能监督，使模型输出与感知相关的音乐结构对齐。
• 在保持模块化结构的同时进行端到端训练，支持表示的逐步优化。
• 在最后阶段使用帧级基频估计作为引导信号，以提升释放时刻检测的性能。

实验结果

研究问题

• RQ1 分层的、模块化的深度学习能否提升音乐信息检索任务中的泛化能力？
• RQ2 在中间表示中强制实现有效性和不变性对模型性能有何影响？
• RQ3 在MIR中使用音乐先验（如音高、和弦、节奏）在多大程度上能增强结构理解？
• RQ4 跳跃连接和剪枝等架构组件在DLL中对训练稳定性和准确性有何影响？
• RQ5 通过提取的基频引导释放时刻检测，能否提升音高追踪性能？

主要发现

• 深度分层学习（DLL）通过将中间表示作为先验，提升了音高追踪性能。
• 当由提取的帧级基频估计引导时，释放时刻检测的准确性显著提高。
• 在中间表示中强制实现不变性和有效性，可使模型更加鲁棒且具备更强的泛化能力。
• 使用跳跃连接和剪枝可增强分层架构中的训练稳定性和梯度流动。
• 模块化、分层的设计使音乐表示的可解释性更好，并支持逐步优化。
• 该框架在音高追踪任务中表现出可测量的性能提升，尤其在具有挑战性的释放时刻检测任务中。