[论文解读] MuseMorphose: Full-Song and Fine-Grained Music Style Transfer with Just One Transformer VAE.

Shih-Lun Wu, Yi‐Hsuan Yang|arXiv (Cornell University)|May 10, 2021

Music and Audio Processing参考文献 72被引用 7

一句话总结

MuseMorphose 提出了一种基于 Transformer 的统一 VAE 模型，通过在生成过程中以随时间变化的、分段级的属性（如节奏强度和音符密度）作为条件，实现了完整歌曲和细粒度的音乐风格迁移。通过在 VAE 目标下将注意力解码器与 Transformer 编码器结合，该模型在风格迁移指标上优于基于 RNN 的基线模型。

ABSTRACT

Transformers and variational autoencoders (VAE) have been extensively employed for symbolic (e.g., MIDI) domain music generation. While the former boast an impressive capability in modeling long sequences, the latter allow users to willingly exert control over different parts (e.g., bars) of the music to be generated. In this paper, we are interested in bringing the two together to construct a single model that exhibits both strengths. The task is split into two steps. First, we equip Transformer decoders with the ability to accept segment-level, time-varying conditions during sequence generation. Subsequently, we combine the developed and tested in-attention decoder with a Transformer encoder, and train the resulting MuseMorphose model with the VAE objective to achieve style transfer of long musical pieces, in which users can specify musical attributes including rhythmic intensity and polyphony (i.e., harmonic fullness) they desire, down to the bar level. Experiments show that MuseMorphose outperforms recurrent neural network (RNN) based baselines on numerous widely-used metrics for style transfer tasks.

研究动机与目标

• 将 Transformer 的长序列建模能力与变分自编码器在符号音乐生成中的可控性相结合。
• 在生成过程中实现用户指定的、随时间变化的音乐属性（如节奏强度和音符密度）在节拍级别上的控制。
• 开发一个单一的端到端模型，支持符号音乐中的完整歌曲生成与细粒度风格迁移。
• 在标准风格迁移评估指标上超越现有的基于 RNN 的方法。

提出的方法

• 该模型采用一种引入了内注意力机制的 Transformer 解码器，以在自回归生成过程中基于分段级、随时间变化的控制向量进行条件控制。
• 一个独立的 Transformer 编码器处理输入的音乐序列，并在 VAE 目标下生成潜在表征。
• 潜在空间被解耦，以实现在节拍级别对特定音乐属性（如音符密度和节奏强度）的控制。
• 模型通过 VAE 目标端到端训练，支持重建与解耦采样，从而实现风格迁移。
• 控制向量被注入解码器的注意力机制中，以在每个标记生成步骤调节生成过程，实现细粒度的风格编辑。

实验结果

研究问题

• RQ1 一个单一的基于 Transformer 的模型能否有效结合长序列建模与符号音乐中细粒度、用户可控的风格迁移？
• RQ2 随时间变化的、分段级的控制向量在多大程度上能提升音乐生成的表达力与可控性？
• RQ3 在多个评估指标下，该模型与基于 RNN 的基线模型相比，在风格迁移质量方面表现如何？
• RQ4 该模型能否在节拍级别独立地解耦并操控不同的音乐属性（如音符密度和节奏强度）？

主要发现

• MuseMorphose 在多个广泛使用的风格迁移指标上优于基于 RNN 的基线模型，表现出更优的生成质量。
• 该模型成功实现了对节奏强度和音符密度等音乐属性在细粒度节拍级别上的控制。
• 将内注意力条件机制整合到 Transformer 解码器中，可在自回归生成过程中实现有效且稳定的控制注入。
• VAE 目标使潜在表征实现了解耦，从而支持有意义且可解释的风格迁移。