[论文解读] Generating Chinese Classical Poems with RNN Encoder-Decoder

Xiaoyuan Yi, Ruoyu Li+1 more|arXiv (Cornell University)|Apr 6, 2016

Topic Modeling参考文献 12被引用 13

一句话总结

该论文提出了一种基于RNN的编码器-解码器模型，用于基于主题词生成中国古典诗歌（绝句四行诗），联合学习语义、结构模式和韵律。该系统在无需模板约束的情况下实现了最先进性能，注意力机制提升了词语关联建模能力，通过反转目标行进行训练则进一步提升了生成质量。

ABSTRACT

We take the generation of Chinese classical poem lines as a sequence-to-sequence learning problem, and build a novel system based on the RNN Encoder-Decoder structure to generate quatrains (Jueju in Chinese), with a topic word as input. Our system can jointly learn semantic meaning within a single line, semantic relevance among lines in a poem, and the use of structural, rhythmical and tonal patterns, without utilizing any constraint templates. Experimental results show that our system outperforms other competitive systems. We also find that the attention mechanism can capture the word associations in Chinese classical poetry and inverting target lines in training can improve performance.

研究动机与目标

• 解决使用神经序列到序列建模生成连贯、韵律准确的中国古典诗歌的挑战。
• 联合学习句内语义意义、句间关联性以及声调与节奏等结构约束。
• 消除对手工设计约束模板的依赖，实现诗歌形式与内容的端到端学习。
• 评估注意力机制以及训练数据重排（反转目标行）在提升生成质量方面的有效性。
• 建立一个能够保留古典汉语诗歌风格与形式特征的神经生成框架。

提出的方法

• 使用RNN编码器-解码器架构，将主题词（输入）映射为构成四行绝句的字符序列。
• 采用注意力机制动态对齐输入主题与生成句中相关词语，捕捉语义关联。
• 在大量真实绝句诗歌语料上端到端训练模型，联合学习内容与结构模式。
• 通过训练期间反转目标行顺序进行数据增强，以提升泛化能力与连贯性。
• 通过序列建模隐式学习声调与节奏模式，无需显式规则约束。
• 使用交叉熵损失优化模型，以最大化正确字符序列的概率。

实验结果

研究问题

• RQ1 端到端的RNN编码器-解码器模型是否能在不依赖约束模板的情况下生成连贯且韵律准确的中国古典诗歌？
• RQ2 注意力机制在多大程度上提升了模型将主题词与相关诗歌内容关联的能力？
• RQ3 在训练过程中对目标序列进行重排（反转行序）如何影响生成诗歌的质量与连贯性？
• RQ4 该模型能否联合学习句内语义意义、句间关联性以及声调与节奏等诗歌形式约束？
• RQ5 与现有基于模板或规则的生成系统相比，该模型在定量与定性层面表现如何？

主要发现

• 所提出的RNN编码器-解码器模型在生成连贯且风格恰当的中国古典诗歌方面优于竞争性基线系统。
• 注意力机制成功捕捉了主题词与诗歌内容之间的有意义词语关联，提升了语义相关性。
• 通过反转目标行进行训练显著提升了模型性能，表明其对长距离依赖与连贯性的学习能力得到增强。
• 模型生成的诗歌在无需显式规则约束的情况下保持了正确的声调与节奏模式，表明其隐式学习了诗歌形式结构。
• 人工评估确认，生成的诗歌比现有方法更具流畅性与诗歌连贯性。
• 该系统在自动指标与人工判断上均达到最先进水平，证明了结合注意力机制与数据增强的端到端学习方法的有效性。