[论文解读] Combining Learned Lyrical Structures and Vocabulary for Improved Lyric Generation

Pablo Samuel Castro, Maria Attarian|arXiv (Cornell University)|Nov 12, 2018

Topic Modeling参考文献 2被引用 8

一句话总结

该论文提出了一种混合框架，结合了歌词结构感知的Transformer语言模型（L_S）和词汇丰富的基于书籍的模型（L_V），以生成更具多样性、结构连贯且更具创意吸引力的歌词。通过将词汇丰富的模型条件化在现有歌词的结构模式上（通过词性标注实现），该方法显著减少了重复并提升了词汇多样性，在生成五行为一段的歌词时，优于纯歌词模型和纯书籍模型。

ABSTRACT

The use of language models for generating lyrics and poetry has received an increased interest in the last few years. They pose a unique challenge relative to standard natural language problems, as their ultimate purpose is reative, notions of accuracy and reproducibility are secondary to notions of lyricism, structure, and diversity. In this creative setting, traditional quantitative measures for natural language problems, such as BLEU scores, prove inadequate: a high-scoring model may either fail to produce output respecting the desired structure (e.g. song verses), be a terribly boring creative companion, or both. In this work we propose a mechanism for combining two separately trained language models into a framework that is able to produce output respecting the desired song structure, while providing a richness and diversity of vocabulary that renders it more creatively appealing.

研究动机与目标

• 解决现有神经语言模型在生成富有创意、结构连贯的歌词方面的局限性。
• 减少人工智能生成歌词中的重复输出，提升词汇多样性。
• 将歌词的结构建模与文学文本中的词汇丰富性相结合。
• 开发一种在保持歌曲结构的同时提升创意吸引力和语言丰富性的框架。
• 实现在更高艺术质量下无需人工干预的、完全自主的歌词生成。

提出的方法

• 在将歌词转换为词性（PoS）序列后，训练一个结构感知模型（L_S），以学习独立于词汇的歌词句法。
• 在古腾堡计划（Project Gutenberg）的书籍上训练一个词汇丰富的模型（L_V），采用上下文-结构掩码策略：输入为句子前缀，目标为带有词性标签的后缀。
• 最终生成过程使用束搜索（beam search）生成下一行：l₂ = L_V(l₁ · L_S(PoS(l₁)))，结合上下文与结构信息。
• 该框架将结构学习与词汇丰富性解耦，实现更具多样性的可控生成。
• 在L_S训练期间，对歌词应用词性标注，以在结构模式与词汇内容之间实现隔离。
• 该方法利用两个独立预训练的Transformer语言模型，在推理阶段通过条件生成方式实现融合。

实验结果

研究问题

• RQ1 将聚焦于结构的语言模型与词汇丰富的语言模型结合，能否提升生成歌词的多样性和创造力？
• RQ2 与纯歌词模型或纯书籍模型相比，该方法在减少行重复和提升词汇多样性方面表现如何？
• RQ3 在生成语言丰富且多样的内容时，模型在多大程度上能够保持歌词结构？
• RQ4 混合方法能否减少人工智能辅助歌词生成中对人工干预的需求？
• RQ5 将丰富词汇模型条件化在词性结构化的歌词模式上，是否能生成更连贯且更具艺术真实感的歌词段落？

主要发现

• RichLyrics模型平均每行生成6.93个词，显著高于PureLyrics的12.85，但低于PureBooks的6.63，表明其在行长度上实现了更好的平衡。
• RichLyrics每首歌仅出现0.441次行重复，远低于PureLyrics的2.233次，表明重复现象得到显著减少。
• RichLyrics中连续行之间的重复词比例为0.480，低于PureLyrics的0.671，表明词汇多样性得到改善。
• RichLyrics的平均词长为3.542，更接近自然歌词的词长，优于PureBooks的3.758，表明其语言更适合歌词表达。
• 定性分析确认，RichLyrics生成的歌词在多样性和创意吸引力方面优于PureLyrics和PureBooks。
• 该框架成功实现了结构学习与词汇丰富性的解耦，从而实现了更受控且更具多样性的歌词生成。