[论文解读] DeepBach: a Steerable Model for Bach Chorales Generation

Gaëtan Hadjeres, François Pachet+1 more|arXiv (Cornell University)|Dec 3, 2016

Music and Audio Processing参考文献 24被引用 125

一句话总结

DeepBach 是一个可控依赖网络模型，通过伪 Gibbs 采样生成四声部巴赫圣歌，允许用户对音符、节奏和结束音进行约束。它实现了巴赫风格的质量并通过与 MuseScore 集成实现交互式作曲。

ABSTRACT

This paper introduces DeepBach, a graphical model aimed at modeling polyphonic music and specifically hymn-like pieces. We claim that, after being trained on the chorale harmonizations by Johann Sebastian Bach, our model is capable of generating highly convincing chorales in the style of Bach. DeepBach's strength comes from the use of pseudo-Gibbs sampling coupled with an adapted representation of musical data. This is in contrast with many automatic music composition approaches which tend to compose music sequentially. Our model is also steerable in the sense that a user can constrain the generation by imposing positional constraints such as notes, rhythms or cadences in the generated score. We also provide a plugin on top of the MuseScore music editor making the interaction with DeepBach easy to use.

研究动机与目标

• 激发实现可控约束的巴赫风格四部合唱的自动生成。
• 提出适用于复调音乐的数据表示和基于依赖网络的架构。
• 开发支持用户设定约束的伪 Gibbs 采样生成过程。
• 通过实验和 MuseScore 插件展示系统的音乐性与互动性。

提出的方法

• 使用 MIDI 音高单独表示四个巴赫声部，在音符列表中融入一个持续符号（hold）。
• 定义一个依赖网络，对每个声部在整段时间内共享四个条件分布 p_i(V_i^t | V_{-i,t}, M, theta_i)。
• 使用 Deep RNN（两个 LSTM）以及一个非循环分支，在局部上下文（t-Δt 到 t+Δt）内预测 V_i^t。
• 通过最大化每个声部的局部对数似然并在时间上共享权重来进行训练。
• 通过伪 Gibbs 采样（算法 1）生成，一次重新采样一个 V_i^t；允许对声部、节奏、焦止音、元数据的约束。
• 提供 GPU 加速并行化及包含持续符号的数 据表示以提高采样效率。

实验结果

研究问题

• RQ1 可否用具有可控采样的依赖网络模型生成巴赫风格的四部合唱？
• RQ2 融合持续符号和局部上下文是否能有效捕捉巴赫合唱的特征？
• RQ3 伪 Gibbs 采样在生成具有用户约束的连贯复调音乐方面表现如何？
• RQ4 基于 MIDI、并丰富音名编码是否提高了互动使用中的音乐合法性与拼写？
• RQ5 系统是否能通过 MuseScore 插件支持交互式工作流（如再和声、终止式、转调）？

主要发现

• 该模型能生成具有巴赫风格的动听的四部合唱。
• 采用所选数据表示的伪 Gibbs 采样方法能产生连贯的巴赫风格纹理和再和声。
• 约束生成在抽取其他声部的同时，可以固定高音旋律、节奏、和弦、终止式或转调等方面。
• 在线人类听众测试显示，随着模型复杂度提高，巴赫感增强，研究中约一半的 DeepBach 样本被听众判定为巴赫。
• 系统通过 MuseScore 插件支持交互式作曲，并适应音名编码和转调引导。
• 实验表明生成速度足够在数秒内产生合唱曲，并可通过 GPU 并行化扩展。