[论文解读] Interactive Music Generation with Positional Constraints using Anticipation-RNNs

Gaëtan Hadjeres, Frank Nielsen|arXiv (Cornell University)|Sep 19, 2017

Music and Audio Processing参考文献 13被引用 22

一句话总结

本文提出 Anticipation-RNN，一种新型 RNN 架构，可在用户定义的位置约束（如在特定时间步固定特定音符）下实现快速、交互式的音乐生成，同时保持训练数据的风格质量。该方法通过学习根据未来约束预测并调整概率，在 O(N) 次 RNN 调用内实现约束采样，从而在不牺牲速度的前提下实现实时、音乐上连贯的生成。

ABSTRACT

Recurrent Neural Networks (RNNS) are now widely used on sequence generation tasks due to their ability to learn long-range dependencies and to generate sequences of arbitrary length. However, their left-to-right generation procedure only allows a limited control from a potential user which makes them unsuitable for interactive and creative usages such as interactive music generation. This paper introduces a novel architecture called Anticipation-RNN which possesses the assets of the RNN-based generative models while allowing to enforce user-defined positional constraints. We demonstrate its efficiency on the task of generating melodies satisfying positional constraints in the style of the soprano parts of the J.S. Bach chorale harmonizations. Sampling using the Anticipation-RNN is of the same order of complexity than sampling from the traditional RNN model. This fast and interactive generation of musical sequences opens ways to devise real-time systems that could be used for creative purposes.

研究动机与目标

• 解决标准 RNN 在交互式音乐生成中的局限性，即仅能基于过去事件进行条件控制，而无法处理未来约束。
• 实现实时、用户引导的音乐生成，使用户能够指定特定时间位置的确切音符。
• 开发一种方法，在保持 RNN 生成质量的同时，允许硬性位置约束，且无需昂贵的迭代采样。
• 确保约束生成的音乐与训练数据在风格上保持一致（例如巴赫经文歌）。
• 提供一种可推广的框架，适用于任何基于 RNN 的序列模型进行符号化音乐生成。

提出的方法

• Anticipation-RNN 架构通过引入双路径机制对标准 RNN 进行修改：一条路径处理过去序列，另一条路径编码未来约束。
• 它使用可学习的注意力机制类似机制，将隐藏状态基于未来约束进行条件化，从而在生成过程中实现约束影响的反向传播。
• 模型通过修改后的损失函数进行端到端训练，该损失函数同时包含标准自回归似然项和一个正则化项，以使约束分布与无约束分布对齐。
• 推理过程中，模型执行从左到右的生成，每个时间步仅需两次 RNN 前向传播：一次用于过去信息，一次用于感知约束的隐藏状态。
• 该方法利用 Kullback-Leibler 散度及其变体来量化并控制约束分布与无约束分布之间的偏差。
• 该方法具有通用性，可应用于任何基于 RNN 的序列模型，包括在巴赫经文歌等多声部音乐上训练的模型。

实验结果

研究问题

• RQ1 能否通过允许用户在特定时间位置固定特定音符，使基于 RNN 的音乐生成模型实现交互性？
• RQ2 此类约束生成能否高效实现，而无需依赖缓慢的 MCMC 采样？
• RQ3 强制执行位置约束是否会降低生成序列的风格质量？
• RQ4 模型能否在从左到右的生成过程中学习预测并调整基于未来约束的概率分布？
• RQ5 约束生成过程是否具备可扩展性，适合实时创意应用？

主要发现

• Anticipation-RNN 在 10,000 个生成序列中 100% 成功强制执行所有用户定义的位置约束，证实了约束满足。
• 约束序列的概率分布与无约束分布保持成比例，这通过 p_constrained 与 p_unconstrained 的近似线性对数对数图得到验证（R² ≈ 0.99）。
• 约束分布与无约束分布之间的差异在约束点处急剧峰值，尤其在反向 KL 散度下表现明显，表明约束传播有效。
• 该方法仅需 N 次 RNN 调用（序列长度为 N），效率与标准 RNN 采样相当，适合实时应用。
• 模型保持了风格连贯性，生成旋律在旋律轮廓和和声结构上均与真实巴赫经文歌高度相似。
• 该方法具有良好的泛化能力，可应用于任何基于 RNN 的序列模型，无需对架构进行重大修改。