[论文解读] Learning Soft-Attention Models for Tempo-invariant Audio-Sheet Music Retrieval

Stefan Balke, Matthias Dorfer+3 more|arXiv (Cornell University)|Jun 26, 2019

Music and Audio Processing参考文献 27被引用 4

一句话总结

本文提出了一种用于端到端音频-乐谱检索的音频频谱图软注意力机制，使模型能够根据速度和音符密度动态调整其时间上下文。该注意力机制通过聚焦于相关音频区域并保持可解释性，在不同速度下提升了检索的鲁棒性，实现了合成钢琴数据上的最先进性能。

ABSTRACT

Connecting large libraries of digitized audio recordings to their corresponding sheet music images has long been a motivation for researchers to develop new cross-modal retrieval systems. In recent years, retrieval systems based on embedding space learning with deep neural networks got a step closer to fulfilling this vision. However, global and local tempo deviations in the music recordings still require careful tuning of the amount of temporal context given to the system. In this paper, we address this problem by introducing an additional soft-attention mechanism on the audio input. Quantitative and qualitative results on synthesized piano data indicate that this attention increases the robustness of the retrieval system by focusing on different parts of the input representation based on the tempo of the audio. Encouraged by these results, we argue for the potential of attention models as a very general tool for many MIR tasks.

研究动机与目标

• 为解决音频嵌入中固定时间上下文在跨模态检索中导致的性能下降问题，特别是在速度变化下表现退化。
• 通过使模型能够根据速度和音符密度自适应地聚焦于相关音频片段，提升音频-乐谱匹配的检索鲁棒性。
• 证明软注意力机制可作为音乐信息检索（MIR）中速度不变检索的通用解决方案。
• 通过在合成钢琴数据上的定性和定量分析，验证注意力机制行为的直观性和可解释性。

提出的方法

• 采用双分支卷积神经网络（CNN）架构，音频频谱图和乐谱图像分别通过独立路径处理，均映射到共享的32维嵌入空间。
• 在音频频谱图输入上应用软注意力机制，学习根据内容相关性在时间帧上分配可变权重。
• 注意力机制与对比损失函数端到端联合训练，以优化匹配音频与乐谱对之间的嵌入相似性。
• 注意力权重通过一个可学习的注意力网络计算，该网络处理原始音频频谱图，并在时间帧上输出一个软的、可微的分布。
• 使用典型相关分析（CCA）在共享空间中对齐音频和乐谱嵌入，强制实现语义对应。
• 在具有受控速度变化的合成钢琴数据集上评估系统，使用余弦距离进行最近邻检索。

实验结果

研究问题

• RQ1 软注意力机制是否能在不同播放速度下提升音频-乐谱匹配的检索性能？
• RQ2 注意力机制如何根据音频频谱图中的音符密度和速度调整其关注区域？
• RQ3 注意力机制是否产生与音乐内容相关联的可解释且直观的注意力分布？
• RQ4 注意力机制在多大程度上降低了对固定大小音频输入窗口的敏感性？

主要发现

• 所提出的软注意力机制在速度变化下显著优于无注意力机制的基线模型，检索性能明显提升。
• 注意力机制会自适应调整其关注程度：当音符密度高时，注意力更集中（熵较低）；当音符密度低时，注意力更分散（熵较高），该现象通过熵与音符起始点数量的分析得到验证。
• 定性示例表明，注意力网络即使在极端速度变化下也能正确识别相关音乐区域，如旋律片段或节奏簇。
• 该模型在78至250 bpm的广泛速度范围内均保持高检索准确率，展现出强大的速度不变性。
• 注意力机制通过在整个音频窗口上分布注意力，有效处理长时值和弦，确保完整内容匹配。
• 结果表明，注意力机制可作为通用工具，用于提升音乐信息检索（MIR）中跨模态任务的鲁棒性，超越音频-乐谱检索任务。