[论文解读] Learning Style-Aware Symbolic Music Representations by Adversarial Autoencoders

Andrea Valenti, Antonio Carta+1 more|arXiv (Cornell University)|Jan 15, 2020

Music and Audio Processing参考文献 21被引用 8

一句话总结

本文提出 MusAE，一种面向音乐的对抗自编码器，通过使用基于流派的条件高斯混合先验，学习解耦的、风格感知的符号音乐表征。其重建精度高于当前最先进（SOTA）的变分自编码器（VAE），并能在保持音乐序列之间平滑且有意义的插值的同时，根据低阶特征和高阶流派信息组织潜在空间。

ABSTRACT

We address the challenging open problem of learning an effective latent space for symbolic music data in generative music modeling. We focus on leveraging adversarial regularization as a flexible and natural mean to imbue variational autoencoders with context information concerning music genre and style. Through the paper, we show how Gaussian mixtures taking into account music metadata information can be used as an effective prior for the autoencoder latent space, introducing the first Music Adversarial Autoencoder (MusAE). The empirical analysis on a large scale benchmark shows that our model has a higher reconstruction accuracy than state-of-the-art models based on standard variational autoencoders. It is also able to create realistic interpolations between two musical sequences, smoothly changing the dynamics of the different tracks. Experiments show that the model can organise its latent space accordingly to low-level properties of the musical pieces, as well as to embed into the latent variables the high-level genre information injected from the prior distribution to increase its overall performance. This allows us to perform changes to the generated pieces in a principled way.

研究动机与目标

• 解决在生成建模中为符号音乐数据学习有效且解耦潜在空间的挑战。
• 通过用对抗正则化替代 KL 散度，改进标准变分自编码器，以提升先验分布选择的灵活性。
• 通过基于元数据的先验，以系统化方式将高阶音乐流派与风格信息嵌入潜在空间。
• 通过允许对影响特定音乐属性的潜在因子进行修改，实现直观且可控的音乐编辑。

提出的方法

• 该模型采用循环对抗自编码器（AAE）架构，编码器将乐谱映射为潜在向量，解码器则用于重建乐谱。
• 与标准高斯先验不同，该模型采用基于音乐元数据（如流派）条件化的高斯混合先验，以引导潜在空间分布。
• 通过对抗训练，使潜在码分布匹配所学习的流派条件先验，从而提升解耦性与真实性。
• 模型通过重建损失与对抗损失进行端到端训练，实现高保真度生成与插值。
• 通过主成分分析（PCA）与 t-SNE 投影评估潜在空间的解耦性，结果显示摇滚与朋克等流派之间存在有意义的分离。
• 该方法可通过修改特定潜在因子（如音符密度或流派风格）实现可控生成，同时保持音乐连贯性。

实验结果

研究问题

• RQ1 使用基于流派信息的先验进行对抗正则化，能否提升变分自编码器中符号音乐表征的质量与解耦性？
• RQ2 音乐自编码器的潜在空间在多大程度上能同时编码低阶音乐特征与高阶流派信息？
• RQ3 能否在潜在空间中实现音乐序列之间平滑且感知上合理的插值？
• RQ4 潜在空间在多大程度上可被结构化，以支持对生成音乐进行直观且属性特定的编辑？
• RQ5 该模型能否在保持样本质量的同时，优于标准 VAE 在重建精度上的表现？

主要发现

• MusAE 在大规模基准测试中实现的重建精度高于当前最先进（SOTA）的基于 VAE 的模型，表明其建模能力更强。
• 音乐序列之间的潜在空间插值平滑且感知连贯，表明潜在空间结构良好且无空洞。
• PCA 与 t-SNE 可视化显示，潜在空间同时组织了低阶音乐属性与高阶流派差异，例如朋克与摇滚之间有清晰分离。
• 通过先验分布，模型成功将流派信息嵌入潜在变量，实现系统化的风格迁移与编辑。
• 与使用固定先验的标准 VAE 相比，采用基于流派的高斯混合先验显著提升了模型性能。
• 通过修改特定潜在因子（如调整音符密度或改变流派风格），模型可实现可控生成，同时保持音乐连贯性。