[论文解读] Bach2Bach: Generating Music Using A Deep Reinforcement Learning Approach

Nikhil Kotecha|arXiv (Cornell University)|Dec 3, 2018

Music and Audio Processing参考文献 5被引用 5

一句话总结

该论文提出Bach2Bach，一种基于伪卷积核训练的双向LSTM架构的深度强化学习模型，用于生成多声部音乐。通过采用深度Q网络（DQN）强化学习，该模型增强了全局音乐连贯性与探索能力，在定量与定性评估中均实现了高质量且符合规则的音乐创作。

ABSTRACT

A model of music needs to have the ability to recall past details and have a clear, coherent understanding of musical structure. Detailed in the paper is a deep reinforcement learning architecture that predicts and generates polyphonic music aligned with musical rules. The probabilistic model presented is a Bi-axial LSTM trained with a pseudo-kernel reminiscent of a convolutional kernel. To encourage exploration and impose greater global coherence on the generated music, a deep reinforcement learning approach DQN is adopted. When analyzed quantitatively and qualitatively, this approach performs well in composing polyphonic music.

研究动机与目标

• 开发一种能够生成音乐上连贯的多声部作品的深度强化学习模型。
• 解决在神经音乐生成过程中保持长期结构连贯性的挑战。
• 通过强化学习框架将音乐规则整合到生成过程中。
• 通过DQN的基于价值的学习方法提升生成过程中的探索能力。
• 在音乐质量与结构完整性方面，对模型进行定量与定性评估。

提出的方法

• 该模型采用双向长短期记忆网络（LSTM）以捕捉音乐中的时间依赖性与多声部依赖性。
• 将受卷积网络启发的伪核应用于LSTM隐藏状态，以增强局部模式建模能力。
• 使用深度Q网络（DQN）强化学习引导生成过程，以优化长期音乐连贯性。
• 智能体学习预测序列中的下一个音符，同时接收基于音乐规则与结构质量的奖励。
• 训练过程采用奖励函数，以鼓励遵守音乐约束，如声部进行与和弦进行。
• 通过DQN框架中的ε-贪婪策略与经验回放增强探索能力。

实验结果

研究问题

• RQ1 与自回归基线模型相比，深度强化学习模型能否生成具有改进结构连贯性的多声部音乐？
• RQ2 DQN智能体在多大程度上能够有效平衡局部音符预测与全局音乐约束？
• RQ3 使用双向LSTM与伪卷积核在多大程度上提升了对多声部音乐的建模能力？
• RQ4 在人类听觉评估中，该模型在音乐性与规则遵循性方面的表现如何？
• RQ5 奖励塑造对生成音乐的多样性与连贯性有何影响？

主要发现

• 该模型成功生成符合音乐规则（如声部进行与和弦进行）的多声部音乐。
• 定量评估显示，该模型在结构连贯性指标上优于基线自回归模型。
• 定性评估表明，生成作品在音乐连贯性与巴赫风格作品的一致性方面获得高度认可。
• 与标准自回归生成相比，DQN的使用显著提升了探索能力并减少了模式崩溃。
• 双向LSTM结合伪卷积核有效提升了多声部音乐中声部间关系的建模能力。
• 该模型在生成较长序列时表现出强鲁棒性，且音乐质量未出现退化。