[论文解读] Generating Thematic Chinese Poetry with Conditional Variational Autoencoder.

Xiaopeng Yang, Xiaowen Lin+2 more|arXiv (Cornell University)|Nov 21, 2017

Topic Modeling参考文献 22被引用 14

一句话总结

本文提出一种带有增强 word2vec 架构的条件变分自编码器，通过显式建模主题信息，生成主题一致的中文诗歌。通过整合关键词引导的潜在表征和一种新颖的 RHYTHM 评分指标，该模型提升了主题相关性与结构一致性，生成诗歌在人类判断中达到 45.24% 的不可区分率，即超过 45% 的生成诗歌被人类评价者视为与人工写作作品无异。

ABSTRACT

Computer poetry generation is our first step towards computer writing. Writing must have a theme. The current approaches of using sequence-to-sequence models with attention often produce non-thematic poems. We present a conditional variational autoencoder with augmented word2vec architecture that explicitly represents the topic or theme information. This approach significantly improves the relevance of the generated poems by representing each line of the poem not only in a context-sensitive manner but also in a holistic way that is highly related to the given keyword and the learned topic. The proposed augmented word2vec model further improves the rhythm and symmetry. We also present a straightforward evaluation metric RHYTHM score to automatically measure the rule-consistency of generated poems. Tests show that 45.24% generated poems by our model are judged by humans to be written by real people.

研究动机与目标

• 解决现有序列到序列模型在中文诗歌生成中主题一致性不足的问题。
• 通过条件潜在变量显式建模主题或主题信息，提升诗歌的相关性。
• 通过一种新颖的 RHYTHM 评分指标，增强生成诗歌的韵律与结构一致性。
• 开发一种方法，在保持上下文敏感的句子生成的同时，实现与给定关键词的整体主题一致性。
• 通过自动化指标与人类判断相结合的方式评估模型性能，重点关注诗歌的真实性。

提出的方法

• 采用条件变分自编码器（CVAE）建模在给定主题关键词下诗歌句子的联合分布。
• 整合一种增强的 word2vec 架构，以编码汉字的语义含义以及韵律与句法约束。
• 使用主题感知的潜在空间，使每行诗歌都基于给定关键词进行条件化，确保整首诗的主题一致性。
• 应用 RHYTHM 评分指标，评估音调模式、声调平衡与结构对称性等方面的一致性规则。
• 通过重构损失与 KL 散度正则化进行端到端训练，以同时保持语义与韵律的保真度。
• 通过从学习到的潜在空间采样并结合语言模型进行解码，生成诗歌。

实验结果

研究问题

• RQ1 当由关键词引导时，条件变分自编码器能否有效生成主题一致的中文诗歌？
• RQ2 增强的 word2vec 架构在多大程度上提升了生成诗歌的韵律与结构一致性？
• RQ3 RHYTHM 评分指标在多大程度上与人类对诗歌质量与规则遵循性的感知相关？
• RQ4 与基线序列到序列模型相比，该模型在主题相关性与人类评价方面的表现如何？
• RQ5 根据人类判断，生成诗歌中有多大比例可被误认为是人工写作？

主要发现

• 所提模型实现了 45.24% 的人类判断率，表明超过 45% 的生成诗歌被人类评价者认为具有真实性。
• 主题感知潜在变量的整合显著提升了与标准序列到序列模型相比的主题相关性。
• RHYTHM 评分指标有效捕捉了音调、节奏与对称性方面的一致性规则，实现了对结构质量的自动化评估。
• 增强的 word2vec 组件同时提升了生成句子的语义连贯性与语音平衡性。
• 该模型在生成与输入关键词在上下文与主题上高度一致的诗歌方面表现出优越性能。
• 人类评估证实，该模型生成的诗歌在感知真实性方面优于基线方法。