[论文解读] Generating lyrics with variational autoencoder and multi-modal artist embeddings

Olga Vechtomova, Hareesh Bahuleyan+2 more|arXiv (Cornell University)|Dec 20, 2018

Music and Audio Processing参考文献 9被引用 14

一句话总结

本文提出一种带有多模态艺术家嵌入的变分自编码器（VAE），用于生成特定艺术家风格的歌词。该方法通过使用卷积神经网络（CNN）分类器从梅尔频谱图中预测艺术家，预先训练艺术家嵌入，证明了使用音频衍生表征初始化嵌入可提升文本生成中的风格控制能力。

ABSTRACT

We present a system for generating song lyrics lines conditioned on the style of a specified artist. The system uses a variational autoencoder with artist embeddings. We propose the pre-training of artist embeddings with the representations learned by a CNN classifier, which is trained to predict artists based on MEL spectrograms of their song clips. This work is the first step towards combining audio and text modalities of songs for generating lyrics conditioned on the artist's style. Our preliminary results suggest that there is a benefit in initializing artists' embeddings with the representations learned by a spectrogram classifier.

研究动机与目标

• 开发一种能够根据特定艺术家的风格特征生成歌词的系统。
• 通过从频谱图中学习艺术家嵌入，弥合音频与文本模态在音乐中的联系。
• 探究使用音频表征预训练艺术家嵌入是否能提升歌词生成质量。
• 探索结合多模态学习（音频 + 文本）实现个性化歌词生成的可行性。
• 评估音频衍生表征对生成歌词的解耦性与质量的影响。

提出的方法

• 使用变分自编码器（VAE）生成基于艺术家嵌入的歌词。
• 利用从预训练的卷积神经网络（CNN）分类器中提取的特征初始化艺术家嵌入，该分类器在歌曲片段的梅尔频谱图上进行训练。
• CNN分类器被训练以基于其频谱图表征预测给定音频片段的艺术家。
• VAE通过同时使用文本序列（歌词）和预训练的艺术家嵌入进行微调，以学习风格条件生成。
• 多模态条件结合基于音频的表征与文本序列建模，实现风格迁移。
• 通过利用预训练的音频嵌入，该系统能够实现对未见艺术家的零样本歌词生成。

实验结果

研究问题

• RQ1 基于频谱图的音频表征是否能提升生成歌词的质量与风格保真度？
• RQ2 使用音频数据预训练艺术家嵌入是否能提升风格条件歌词生成的性能？
• RQ3 VAE模型在仅使用音频嵌入的情况下，能在多大程度上生成反映特定艺术家风格细微特征的歌词？
• RQ4 音频与文本模态的融合在学习特定艺术家语言风格方面有多高效？
• RQ5 通过利用学习到的基于音频的表征，该模型能否在推理时泛化到训练过程中未见过的艺术家？

主要发现

• 使用频谱图分类器预训练艺术家嵌入可提升生成歌词中的风格控制能力。
• 定性分析表明，该系统成功生成了反映目标艺术家风格特征的歌词行。
• 使用音频衍生表征作为艺术家嵌入，增强了VAE中风格与内容的解耦性。
• 该模型证明了多模态学习在音乐歌词生成中的可行性，能够结合音频与文本数据。
• 初步结果表明，基于音频的表征能够捕捉到艺术家特定的风格模式，并可迁移至文本生成。
• 该方法为音乐生成中音频与文本模态的联合建模迈出了第一步。