[论文解读] Compound Word Transformer: Learning to Compose Full-Song Music over Dynamic Directed Hypergraphs

Wen-Yi Hsiao, Jen-Yu Liu+2 more|arXiv (Cornell University)|Jan 7, 2021

Music and Audio Processing参考文献 31被引用 19

一句话总结

本文提出了一种名为复合词Transformer（Compound Word Transformer）的新颖Transformer架构，通过将相关音乐标记（如音高、时值、起音）分组为复合词，更高效地建模完整歌曲的流行钢琴音乐。通过使用类型特定的前馈头和动态超图建模，该模型的训练速度比当前最先进模型快5至10倍，同时生成的音乐在感知质量上与现有模型相当。

ABSTRACT

To apply neural sequence models such as the Transformers to music generation tasks, one has to represent a piece of music by a sequence of tokens drawn from a finite set of pre-defined vocabulary. Such a vocabulary usually involves tokens of various types. For example, to describe a musical note, one needs separate tokens to indicate the note's pitch, duration, velocity (dynamics), and placement (onset time) along the time grid. While different types of tokens may possess different properties, existing models usually treat them equally, in the same way as modeling words in natural languages. In this paper, we present a conceptually different approach that explicitly takes into account the type of the tokens, such as note types and metric types. And, we propose a new Transformer decoder architecture that uses different feed-forward heads to model tokens of different types. With an expansion-compression trick, we convert a piece of music to a sequence of compound words by grouping neighboring tokens, greatly reducing the length of the token sequences. We show that the resulting model can be viewed as a learner over dynamic directed hypergraphs. And, we employ it to learn to compose expressive Pop piano music of full-song length (involving up to 10K individual tokens per song), both conditionally and unconditionally. Our experiment shows that, compared to state-of-the-art models, the proposed model converges 5--10 times faster at training (i.e., within a day on a single GPU with 11 GB memory), and with comparable quality in the generated music.

研究动机与目标

• 为解决序列模型中对所有音乐标记同等对待的局限性，如在自然语言处理中的做法。
• 通过显式考虑标记类型的异质性，提升符号音乐生成中的训练效率和建模保真度。
• 通过压缩的复合词表示，实现对完整长度、富有表现力的流行钢琴音乐（最多10,000个标记）的有效生成。
• 探究在每个时间步同时建模多种标记类型是否能提升音乐生成的速度与质量。

提出的方法

• 将不同类型（如音高、时值、起音）的相邻标记分组为复合词，以减少序列长度并捕捉共现依赖关系。
• 使用经过修改的Transformer解码器，通过类型特定的前馈头在每个时间步同时预测多种标记类型。
• 应用扩展-压缩技巧，在训练和推理过程中将复合词映射回单个标记。
• 将音乐生成过程表示为动态有向超图，其中每条超边对应一个连接多个标记节点的复合词。
• 采用线性Transformer架构并扩大上下文窗口（5,120），以建模完整歌曲作品中的长距离依赖关系。
• 在大规模流行钢琴数据集上进行训练，采用条件生成（如伴奏谱条件）和无条件生成两种设置。

实验结果

研究问题

• RQ1 在每个时间步同时建模多种音乐标记类型（如音高、时值、力度）是否能提升训练效率和生成质量？
• RQ2 使用复合词——即分组的标记序列——是否能改善长距离建模并减少序列长度？
• RQ3 与最先进模型相比，该模型在训练速度、推理质量及感知音乐质量方面表现如何？
• RQ4 该模型能否生成与真实作品在结构和和声复杂度上相当的完整歌曲、富有表现力的流行钢琴音乐？
• RQ5 动态超图解释是否有效且有助于理解模型的归纳偏置和泛化能力？

主要发现

• 所提模型的训练速度比当前最先进模型（如REMI + Transformer-XL）快5至10倍，在单张11 GB显存的GPU上一天内即可收敛。
• 该模型能生成长达10,000个标记的完整歌曲流行钢琴音乐，其感知质量与REMI + XL相当，经用户研究验证。
• 在无条件生成设置中，CP + 线性模型在感知丰富度、人声感和结构感方面优于REMI + XL，表明其具备更强的作曲泛化能力。
• 定量评估显示，两种模型的旋律和和弦匹配度均接近训练集水平，显著优于随机基线。
• 该模型的复合词表示能够有效建模单个时间步内共现的音乐特征（如音高与时值），从而提升效率。
• 用户研究结果（n=18）表明，尽管在条件设置下REMI + XL表现略优，但CP + 线性模型在所有感知指标上均展现出无条件生成的一致优势。