[论文解读] MMM : Exploring Conditional Multi-Track Music Generation with the Transformer

Jeffrey Ens, Philippe Pasquier|arXiv (Cornell University)|Aug 13, 2020

Music Technology and Sound Studies参考文献 15被引用 38

一句话总结

MMM 引入一个基于 Transformer 的系统，用于条件化的多轨音乐生成，使用一种新颖的每轨令牌序列表示，能够实现轨道级和小节级的修补以及每轨属性控制。

ABSTRACT

We propose the Multi-Track Music Machine (MMM), a generative system based on the Transformer architecture that is capable of generating multi-track music. In contrast to previous work, which represents musical material as a single time-ordered sequence, where the musical events corresponding to different tracks are interleaved, we create a time-ordered sequence of musical events for each track and concatenate several tracks into a single sequence. This takes advantage of the Transformer's attention-mechanism, which can adeptly handle long-term dependencies. We explore how various representations can offer the user a high degree of control at generation time, providing an interactive demo that accommodates track-level and bar-level inpainting, and offers control over track instrumentation and note density.

研究动机与目标

• 通过实现具有细粒度用户控制的多轨生成，提升生成性音乐的实用性。
• 开发一种新颖的表示方法，在保持轨道级条件的同时，利用 Transformer 的注意力处理长距离依赖。
• 实现轨道级与小节级的修补，以及每轨的乐器和音符密度控制。

提出的方法

• 将多轨音乐表示为每轨一串令牌的序列，并将轨道连接成单一序列（MultiTrack 表示）。
• 通过 BarFill 表示，将目标小节替换为填充令牌并在生成后附加实际小节以实现小节级修补。
• 使用 4 小节和 8 小节配置训练 GPT-2 风格的 Transformer 模型（MMMBar on BarFill；MMMTrack on MultiTrack），基于 Lahk MIDI Dataset (LMD)。
• 每小节使用 128 个 NOTE_ON 令牌、128 个 NOTE_OFF 令牌、以及 48 个 TIME_SHIFT 令牌，并包含 BAR_START/BAR_END 与 TRACK_START/TRACK_END 元数据令牌，以及每轨的 INSTRUMENT 与 DENSITY_LEVEL 令牌。
• 支持互动生成模式，包括轨道修补、小节修补，以及对每轨乐器和密度属性的控制，外加迭代生成与用于改进的元算法。

实验结果

研究问题

• RQ1 在不混合轨道事件的情况下，Transformer 模型如何有效地生成并对多轨符号音乐进行条件化？
• RQ2 在单一模型中是否能够实现轨道级和小节级的修补，同时保持对每轨乐器与音符密度的可控？
• RQ3 哪些表示法和令牌架构最能支持对多轨音乐生成的细粒度控制？
• RQ4 MMM 方法如何利用 Transformer 注意力处理跨轨道的长距离依赖？

主要发现

• 一种新颖的 MultiTrack/BarFill 令牌表示实现了轨道级和小节级的修补以及对每轨属性的控制。
• 在 4 小节和 8 小节片段上训练的 MMMBar 与 MMMTrack 模型展示了在跨轨条件依赖下的灵活生成能力。
• BarFill 表示通过插入占位填充来对指定小节进行条件化，随后填充实际小节，从而实现小节级修补。
• 系统通过 INSTRUMENT 令牌实现对每条轨道的乐器控制，通过 DENSITY_LEVEL 令牌实现对音符密度的控制。
• 作者指出，在 LMD中，约 99.8% 的 10-track 4-bar、86.8% 的 10-track 8-bar、以及 38.8% 的 10-track 16-bar 区段可以用 <2048 令牌表示，显示出实用的可扩展性。