[论文解读] Chinese song iambics generation with neural attention-based model

Qixin Wang, Tianyi Luo+2 more|arXiv (Cornell University)|Jul 9, 2016

Topic Modeling参考文献 17被引用 54

一句话总结

本文提出一种基于注意力机制的序列到序列模型，采用双向LSTM生成具有严格节奏与结构约束的中文宋词（iambics），通过整合全局上下文信息并采用混合风格训练，成功学习复杂模式，在自动评估与人工评估中均实现高质量、节奏准确的诗歌生成。

ABSTRACT

Learning and generating Chinese poems is a charming yet challenging task. Traditional approaches involve various language modeling and machine translation techniques, however, they perform not as well when generating poems with complex pattern constraints, for example Song iambics, a famous type of poems that involve variable-length sentences and strict rhythmic patterns. This paper applies the attention-based sequence-to-sequence model to generate Chinese Song iambics. Specifically, we encode the cue sentences by a bi-directional Long-Short Term Memory (LSTM) model and then predict the entire iambic with the information provided by the encoder, in the form of an attention-based LSTM that can regularize the generation process by the fine structure of the input cues. Several techniques are investigated to improve the model, including global context integration, hybrid style training, character vector initialization and adaptation. Both the automatic and subjective evaluation results show that our model indeed can learn the complex structural and rhythmic patterns of Song iambics, and the generation is rather successful.

研究动机与目标

• 为解决生成中文宋词所面临的挑战，此类诗歌需严格遵循节奏与结构模式，超出传统语言模型的能力范围。
• 通过注意力机制引入输入句子中的细粒度结构线索，以提升诗歌生成质量。
• 探索全局上下文整合与混合风格训练等技术，以增强生成宋词的结构保真度与流畅性。
• 评估模型在长篇、变长诗歌形式中维持节奏一致性与诗意连贯性能力。

提出的方法

• 采用双向LSTM编码器，从作为输入的提示句子中捕捉上下文表征。
• 使用基于注意力机制的LSTM解码器，逐个标记生成宋词，同时尊重结构约束。
• 整合全局上下文信息，以稳定长篇生成过程，并提升变长诗行间的连贯性。
• 应用混合风格训练，联合优化生成诗歌的流畅性与结构准确性。
• 使用预训练向量初始化字符嵌入，并在训练过程中进行微调，以更好地表征诗歌词汇。
• 通过关注输入提示中显著结构特征的注意力机制，对生成过程进行正则化。

实验结果

研究问题

• RQ1 基于注意力机制的序列到序列模型能否有效学习并生成具有复杂节奏与结构约束的中文宋词？
• RQ2 全局上下文整合在多大程度上提升了生成宋词的连贯性与结构一致性？
• RQ3 混合风格训练在多大程度上提升了诗歌生成的流畅性与结构保真度？
• RQ4 字符向量的初始化与微调在多大程度上影响了模型生成语言与节奏准确诗歌的能力？

主要发现

• 该模型成功学习并再现了中文宋词中固有的复杂节奏与结构模式。
• 自动评估结果表明，与基线模型相比，本模型在结构与语言质量方面均有显著提升。
• 主观评估结果证实，人工标注者认为生成的宋词在连贯性、流畅性与节奏准确性方面表现良好。
• 诸如全局上下文整合与混合风格训练等技术，显著增强了模型维持长篇连贯性能力。
• 字符向量的初始化与微调有助于更好地表征诗歌词汇，从而提升生成质量。
• 注意力机制实现了输入提示与生成诗行之间的有效对齐，确保了结构上的相关性。