[论文解读] Passage Summarization with Recurrent Models for Audio-Sheet Music Retrieval

Luís Miguel Carvalho, Gerhard Widmer|arXiv (Cornell University)|Sep 21, 2023

Music and Audio ProcessingComputer Science被引用 3

一句话总结

本文提出一种循环跨模态神经网络，通过学习较长、可变长度的音频与乐谱片段的联合嵌入，实现无需精细对齐训练数据的鲁棒音频-乐谱检索。通过递归建模时间依赖性，该方法在处理全局节拍变化方面优于固定大小片段的方法，在各种节拍条件和弱监督设置下均实现了更高的检索准确率。

ABSTRACT

Many applications of cross-modal music retrieval are related to connecting sheet music images to audio recordings. A typical and recent approach to this is to learn, via deep neural networks, a joint embedding space that correlates short fixed-size snippets of audio and sheet music by means of an appropriate similarity structure. However, two challenges that arise out of this strategy are the requirement of strongly aligned data to train the networks, and the inherent discrepancies of musical content between audio and sheet music snippets caused by local and global tempo differences. In this paper, we address these two shortcomings by designing a cross-modal recurrent network that learns joint embeddings that can summarize longer passages of corresponding audio and sheet music. The benefits of our method are that it only requires weakly aligned audio-sheet music pairs, as well as that the recurrent network handles the non-linearities caused by tempo variations between audio and sheet music. We conduct a number of experiments on synthetic and real piano data and scores, showing that our proposed recurrent method leads to more accurate retrieval in all possible configurations.

研究动机与目标

• 解决固定大小音频与乐谱片段模型在跨模态音乐检索中的局限性。
• 通过仅使用弱对齐的段落边界进行训练，减少对强对齐、人工标注数据的依赖。
• 通过序列建模提高对音频与乐谱之间全局和局部节拍变化的鲁棒性。
• 通过使用更长、上下文更丰富的音乐段落而非短时固定长度片段，实现更精确的检索。
• 在合成和真实钢琴数据上验证该方法，证明其在节拍变化下的泛化能力。

提出的方法

• 使用双路径递归神经网络将音频和乐谱段落编码到共享嵌入空间。
• 模型采用对比损失函数，最小化匹配音频-乐谱对之间的余弦距离，同时最大化不匹配对之间的距离。
• 循环单元（LSTM 或 GRU）处理可变长度序列，捕捉时间依赖性并应对节拍变化。
• 训练数据由弱对齐的系统级段落（如谱表行）构建，而非音符级对齐，从而降低标注负担。
• 该架构支持可变长度输入片段，避免了先前方法的固定大小限制。
• 在 MSMD 数据集上，模型在音频到乐谱（A2S）和乐谱到音频（S2A）两个检索方向上进行评估。

Figure 1 : Distribution of system durations in around 40,000 examples from the MSMD. More than 25% of the passages are longer than ten seconds.

实验结果

研究问题

• RQ1 循环模型能否从更长、可变长度的音频与乐谱段落中学习到鲁棒的跨模态嵌入？
• RQ2 在全局节拍变化下，所提出的方法是否比固定大小片段模型泛化能力更强？
• RQ3 在多大程度上可以使用弱对齐数据（如系统级边界）来训练有效的音频-乐谱检索模型？
• RQ4 与基线方法相比，该模型在不同节拍比下表现如何？
• RQ5 在存在节拍差异的情况下，使用递归机制是否能提升嵌入质量和检索准确率？

主要发现

• 所提出的循环模型在所有节拍比下，A2S 和 S2A 两个检索方向的平均倒数排名（MRR）均高于基线。
• 在 S2A 方向，原始节拍（ρ=1）下的 MRR 为 0.67（RNN 模型），而基线为 0.63，提升 0.04。
• 在 A2S 方向，ρ=1 时 RNN 模型的 MRR 为 0.63，基线为 0.59，提升 0.04。
• A2S 中 ρ=1 与 ρ=0.5（较慢节拍）之间的性能差距从基线的 0.12 降低至 RNN 的 0.10；S2A 中从 0.09 降至 0.07，表明对节拍变化具有更好的鲁棒性。
• 即使在极端节拍（ρ=2）下，模型仍保持强劲表现，MRR 值分别为 0.43（A2S）和 0.50（S2A），在所有情况下均优于基线。
• 余弦距离分析显示，较短音频段落的嵌入通常比其对应乐谱嵌入更接近，表明长时长下仍存在一定的泛化差距。

Figure 2 : Diagram of the proposed network. Two independent pathways are trained to encode sheet music (a) and audio (b) passages by minimizing a contrastive loss function (c).