[论文解读] Learning Transposition-Invariant Interval Features from Symbolic Music and Audio

Stefan Lattner, Maarten Grachten+1 more|arXiv (Cornell University)|Jun 21, 2018

Music and Audio Processing参考文献 31被引用 9

一句话总结

本文提出一种门控自编码器（GAE），通过一种新颖的移调增强训练方法，从乐谱音乐和音频中学习移调不变的音程表示。该方法生成具有音乐意义的、固定长度的向量表示，保留音程关系，并在检测重复音乐段落方面实现最先进性能，在音频MIREX任务中取得51.61的F3分数——较先前最先进水平提升1.01分。

ABSTRACT

Many music theoretical constructs (such as scale types, modes, cadences, and chord types) are defined in terms of pitch intervals---relative distances between pitches. Therefore, when computer models are employed in music tasks, it can be useful to operate on interval representations rather than on the raw musical surface. Moreover, interval representations are transposition-invariant, valuable for tasks like audio alignment, cover song detection and music structure analysis. We employ a gated autoencoder to learn fixed-length, invertible and transposition-invariant interval representations from polyphonic music in the symbolic domain and in audio. An unsupervised training method is proposed yielding an organization of intervals in the representation space which is musically plausible. Based on the representations, a transposition-invariant self-similarity matrix is constructed and used to determine repeated sections in symbolic music and in audio, yielding competitive results in the MIREX task "Discovery of Repeated Themes and Sections".

研究动机与目标

• 开发一种深度学习模型，从乐谱音乐和音频数据中学习移调不变的音程表示。
• 解决因音高移调而导致重复音乐段落检测困难的问题，这是音乐中常见的变换。
• 构建一个音乐上合理的表示空间，使音程关系（如增四度、八度等）得以有意义地编码。
• 提升在MIREX任务中对重复主题与段落的发现性能，尤其在音频领域。
• 实现高效且不变的相似性计算，适用于音频-乐谱对齐和旋律检索等应用。

提出的方法

• 采用具有双线性结构的门控自编码器（GAE），学习音乐片段的固定长度、可逆表示。
• 使用去噪自编码器目标函数进行训练，以最小化在给定上下文和表示下当前音符的重建误差。
• 引入一种新颖的移调增强训练流程：训练期间，输入序列被随机移调，模型学习在不同移调下生成相同的表示。
• 在移调不变的自相似矩阵上使用对角线检测器，识别音乐中的重复段落。
• 将模型应用于乐谱音乐（MIDI）和音频（频谱图），采用共享的架构与训练策略。
• 通过GAE中乘法交互机制，自然编码音高间隔，确保模型捕捉音乐相关的关联。

实验结果

研究问题

• RQ1 深度神经网络能否从原始乐谱和音频音乐数据中学习到移调不变的音程表示？
• RQ2 所学习的表示空间是否反映音乐上有意义的音程关系，如八度等价性和增四度的独特性？
• RQ3 移调不变的表示能否提升在乐谱和音频音乐中重复段落的检测性能？
• RQ4 该模型在MIREX任务中重复段落发现方面的性能与最先进水平相比如何？
• RQ5 该模型对移调的不变性在真实音乐分析任务（如音频-乐谱对齐和旋律检索）中是否有效？

主要发现

• 模型学习到的表示具有移调不变性，能保留音乐上相关的音程关系，例如将具有相同音名（如+8和-4个半音）的音程在嵌入空间中紧密排列。
• 表示空间反映了音乐结构：增四度音程被映射到独立且隔离的区域，表明其在调性音乐中的稀有性和感知独特性。
• 在映射空间中，最近邻的音程共享的音程数量多于输入空间，证实模型学习的是相对音高而非绝对音高线索。
• 该模型在MIREX音频任务中重复段落发现的F3得分为51.61，较先前最先进水平50.60提升1.01分。
• 尽管模型在乐谱数据上进行训练，但在乐谱MIREX任务上的表现略低于音频任务，可能是因为在真实变体中，近似匹配（频谱图更支持）比精确匹配更有效。
• 该方法计算效率高，因为移调不变性使得可以直接计算相似性，而无需显式比较所有移调变体。