[论文解读] Generating music with sentiment using Transformer-GANs

Pedro Leão Neves, José Fornari+1 more|arXiv (Cornell University)|Dec 21, 2022

Music and Audio Processing被引用 6

一句话总结

本文提出了一种基于情感标签（基于唤醒度与效价维度）的条件符号音乐生成的Transformer-GAN模型。通过结合最大似然估计（MLE）预训练与对抗训练，该模型生成的音乐在质量与情感一致性方面均表现优异，尽管采用更简单的表示方式和更少的参数，其性能仍可与当前最先进模型相媲美。

ABSTRACT

The field of Automatic Music Generation has seen significant progress thanks to the advent of Deep Learning. However, most of these results have been produced by unconditional models, which lack the ability to interact with their users, not allowing them to guide the generative process in meaningful and practical ways. Moreover, synthesizing music that remains coherent across longer timescales while still capturing the local aspects that make it sound ``realistic'' or ``human-like'' is still challenging. This is due to the large computational requirements needed to work with long sequences of data, and also to limitations imposed by the training schemes that are often employed. In this paper, we propose a generative model of symbolic music conditioned by data retrieved from human sentiment. The model is a Transformer-GAN trained with labels that correspond to different configurations of the valence and arousal dimensions that quantitatively represent human affective states. We try to tackle both of the problems above by employing an efficient linear version of Attention and using a Discriminator both as a tool to improve the overall quality of the generated music and its ability to follow the conditioning signals.

研究动机与目标

• 开发一种可基于效价与唤醒度表示的情感状态进行条件控制的符号音乐生成模型。
• 通过对抗训练解决长序列音乐生成中教师强制（teacher forcing）与暴露偏差（exposure bias）的局限性。
• 在降低模型复杂度的同时，提升生成音乐的真实感与情感一致性。
• 通过自动指标与人类评估（情感准确性与音乐质量）综合评估模型性能。
• 证明即使采用更简单的符号表示与更少参数，对抗训练仍可显著提升生成质量。

提出的方法

• 在Transformer编码器中使用线性自注意力机制，以降低长序列下的计算成本。
• 采用GAN框架，其中生成器同时优化最大似然估计（MLE）与对抗目标，以提升样本质量与泛化能力。
• 判别器负责区分真实音乐与生成样本，提供反馈以增强生成器对条件信号的遵循能力。
• 通过效价与唤醒度维度（源自Russell环形模型）对模型进行条件控制。
• 采用非饱和相对性标准GAN损失（RSGAN），以稳定训练过程并提升样本多样性。
• 在对抗微调前，先使用最大似然估计（MLE）对模型进行预训练，以提升初始策略质量。

实验结果

研究问题

• RQ1 基于GAN的模型能否生成在效价与唤醒度标签条件下情感一致的符号音乐？
• RQ2 与仅使用MLE训练相比，对抗训练是否能提升Transformer生成音乐的质量与真实感？
• RQ3 在情感准确性与音乐质量方面，该模型的性能与最先进模型相比如何？
• RQ4 在使用对抗训练的情况下，参数更少、结构更简单的模型是否仍能取得具有竞争力的结果？
• RQ5 人类听觉感知在多大程度上认为生成的音乐情感准确且具有类人特征？

主要发现

• 在人类评估中，Transformer-GAN的整体质量评分为3.44（满分5分），优于基线模型（3.49）与纯Transformer模型（3.89）。
• 该模型获得3.56的人类相似度评分，表明尽管采用更简单的符号表示，其感知真实感仍很强。
• 在情感感知任务中，Transformer-GAN保持了稳定的效价与唤醒度评分，错误分类样本不超过50%（相对于目标情感）。
• 在结构与原创性方面表现优异，得分分别为3.38与3.06，表明输出具有连贯性与创造性。
• 尽管参数更少且音乐表示更简单，该模型在性能上仍可与最先进基线模型相媲美。
• 对抗训练方案显著提升了样本质量与情感一致性，减少了暴露偏差并增强了泛化能力。