[论文解读] A Predictive Model for Music Based on Learned Interval Representations

Stefan Lattner, Maarten Grachten+1 more|arXiv (Cornell University)|Jun 22, 2018

Music and Audio Processing参考文献 11被引用 17

一句话总结

本文提出循环门控自编码器（RGAE），一种序列模型，通过学习相对音程而非绝对音高，实现更好的泛化能力，并显式建模音乐重复与移调。RGAE 通过在音程空间中学习复制-平移操作，在预测移调音乐重复任务中达到 99.43% 的平均精确率，显著优于标准 RNN，展现出卓越性能。

ABSTRACT

Connectionist sequence models (e.g., RNNs) applied to musical sequences suffer from two known problems: First, they have strictly "absolute pitch perception". Therefore, they fail to generalize over musical concepts which are commonly perceived in terms of relative distances between pitches (e.g., melodies, scale types, modes, cadences, or chord types). Second, they fall short of capturing the concepts of repetition and musical form. In this paper we introduce the recurrent gated autoencoder (RGAE), a recurrent neural network which learns and operates on interval representations of musical sequences. The relative pitch modeling increases generalization and reduces sparsity in the input data. Furthermore, it can learn sequences of copy-and-shift operations (i.e. chromatically transposed copies of musical fragments)---a promising capability for learning musical repetition structure. We show that the RGAE improves the state of the art for general connectionist sequence models in learning to predict monophonic melodies, and that ensembles of relative and absolute music processing models improve the results appreciably. Furthermore, we show that the relative pitch processing of the RGAE naturally facilitates the learning and the generation of sequences of copy-and-shift operations, wherefore the RGAE greatly outperforms a common absolute pitch recurrent neural network on this task.

研究动机与目标

• 解决标准 RNN 在建模相对音高关系方面的局限性，而相对音高关系是音乐理论的基础，但常被绝对音高表征所忽略。
• 通过学习音程表征而非绝对音高，克服音乐序列建模中的数据稀疏性与泛化能力差的问题。
• 实现对音乐重复与移调重复（复制-平移操作）的显式建模，这些是音乐结构的关键要素，但常被标准 RNN 所忽略。
• 证明通过 RGAE 实现的相对音高处理可与绝对音高模型互补，通过集成方法提升整体预测准确率。
• 展示 RGAE 可在不依赖特定音乐织体的情况下，学习并生成复杂结构方案——即抽象的移调重复序列。

提出的方法

• 使用门控自编码器（GAE）学习输入音高之间的音程表征，将绝对音高序列转换为潜在空间中的相对音程表征。
• 在学习到的音程表征上应用循环神经网络（RNN），以建模音乐中的时间依赖性与长程结构。
• 以分类交叉熵损失为优化目标，端到端训练 RGAE 作为生成序列模型，用于预测单音旋律中的下一个音符。
• 通过在音程而非绝对音高上操作，实现移调不变性，从而减少数据稀疏性与模型复杂度。
• 通过将此类操作表示为在时间延迟上重复应用恒定音程的方式，使模型能够学习一系列复制-平移操作。
• 通过集成平均法结合 RGAE 与绝对音高 RNN 的预测结果，进一步提升整体预测准确率。

实验结果

研究问题

• RQ1 一种学习音程表征的序列模型是否在单音旋律预测任务中比标准 RNN 具有更好的泛化能力？
• RQ2 基于音程的建模在多大程度上能提升音乐中移调重复（复制-平移操作）的学习与生成能力？
• RQ3 与绝对音高建模相比，通过 RGAE 实现的相对音高处理在预测稳定性与泛化能力方面表现如何？
• RQ4 RGAE 是否能独立于实现其结构的特定音乐织体，学习并表征抽象的音乐结构方案？
• RQ5 将相对音高（RGAE）与绝对音高（RNN）模型结合，是否在音乐序列预测中优于单独使用任一模型？

主要发现

• RGAE 在预测移调音乐重复任务中达到 99.43% 的平均精确率，其中 92% 的序列被正确延续，且精确率超过 99%。
• RGAE 的交叉熵损失为 0.16，比 RNN 的 10.10 低两个数量级，表明其预测置信度与拟合度显著更优。
• 在复制-平移任务中，RGAE 显著优于标准 RNN，后者仅达到 41.38% 的平均精确率，凸显了基于音程学习的优势。
• RGAE 的隐藏单元激活更规律且内容无关，反映出其关注于抽象结构方案而非具体音乐织体。
• RGAE 展示出即使在训练中未见过的新旋律上，也能学习并泛化于结构方案（例如 {-4,+8,-4,+8,...}）的能力。
• 将 RGAE 与绝对音高 RNN 集成后，进一步提升了预测准确率，表明相对音高与绝对音高建模具有互补性。