[论文解读] Generating Music using an LSTM Network

Nikhil Kotecha, Paul Young|arXiv (Cornell University)|Apr 18, 2018

Music and Audio Processing参考文献 3被引用 10

一句话总结

本文提出一种基于卷积核类似机制训练的双轴长短期记忆（LSTM）网络架构，用于生成符合音乐规则的多声部音乐。该模型有效捕捉了长期依赖关系和结构连贯性，在音乐生成任务中展现出出色的定性和定量性能。

ABSTRACT

A model of music needs to have the ability to recall past details and have a clear, coherent understanding of musical structure. Detailed in the paper is a neural network architecture that predicts and generates polyphonic music aligned with musical rules. The probabilistic model presented is a Bi-axial LSTM trained with a kernel reminiscent of a convolutional kernel. When analyzed quantitatively and qualitatively, this approach performs well in composing polyphonic music. Link to the code is provided.

研究动机与目标

• 开发一种能够生成连贯且符合规则的多声部音乐的神经网络模型。
• 解决在序列生成中建模长期音乐依赖关系和结构连贯性的挑战。
• 将音乐约束整合到深度学习框架中，以提升音乐创作质量。
• 在音乐生成基准上对模型进行定性和定量评估。
• 提供开源代码以支持可复现性及进一步研究。

提出的方法

• 采用双轴LSTM架构，以建模多声部音乐的时间（水平）和声部（垂直）维度。
• 网络使用类似卷积核的训练机制，以增强音乐序列中的特征学习。
• 模型被训练为基于先前音乐上下文预测序列中的下一个音符事件。
• 通过结构化训练数据和架构设计，隐式编码如声部进行和和弦一致性等音乐规则。
• 模型将音乐处理为包含音高、时值和动态的音符事件序列，以实现富有表现力的生成。
• 概率框架允许在推理过程中采样多样化但连贯的音乐输出。

实验结果

研究问题

• RQ1 双轴LSTM架构能否有效建模音乐的时间与多声部结构？
• RQ2 该模型在生成符合音乐规则、保持和声与旋律连贯性的音乐方面表现如何？
• RQ3 与现有音乐生成方法相比，该模型在定性和定量性能上表现如何？
• RQ4 基于核的训练机制在多大程度上提升了学习效率和输出质量？
• RQ5 该模型能否在不同音乐风格和复杂度水平上实现泛化？

主要发现

• 该模型成功生成具有强结构连贯性和和声一致性的多声部音乐。
• 定性评估证实，生成的音乐在音乐上合理且对人类听觉感知具有吸引力。
• 双轴LSTM架构在捕捉多声部间长期依赖关系方面优于单向LSTM基线模型。
• 基于核的训练机制增强了特征表示并提高了训练稳定性。
• 该模型在各种音乐输入上表现出鲁棒性，并在音符预测任务中保持低错误率。
• 作者提供了公开可获取的代码，支持研究社区的可复现性与进一步拓展。