[论文解读] Chinese Poetry Generation with a Salient-Clue Mechanism

Xiaoyuan Yi, Ruoyu Li+1 more|arXiv (Cornell University)|Sep 12, 2018

Topic Modeling参考文献 22被引用 5

一句话总结

本文提出了一种用于中文诗歌生成的显著线索（Salient-Clue）机制，该机制从先前生成的诗句中动态选择语义上最显著的字符，形成引导线索，从而增强诗歌在意义、主题和艺术意境上的整体连贯性。该方法在强基线模型之上进一步提升了连贯性，并支持对风格和用户意图的灵活控制，在自动评估与人工评估中均表现出优越性能。

ABSTRACT

As a precious part of the human cultural heritage, Chinese poetry has influenced people for generations. Automatic poetry composition is a challenge for AI. In recent years, significant progress has been made in this area benefiting from the development of neural networks. However, the coherence in meaning, theme or even artistic conception for a generated poem as a whole still remains a big problem. In this paper, we propose a novel Salient-Clue mechanism for Chinese poetry generation. Different from previous work which tried to exploit all the context information, our model selects the most salient characters automatically from each so-far generated line to gradually form a salient clue, which is utilized to guide successive poem generation process so as to eliminate interruptions and improve coherence. Besides, our model can be flexibly extended to control the generated poem in different aspects, for example, poetry style, which further enhances the coherence. Experimental results show that our model is very effective, outperforming three strong baselines.

研究动机与目标

• 为解决神经机器生成中文诗歌过程中全局连贯性的挑战，特别是句间主题与艺术意境的一致性问题。
• 开发一种选择性利用显著部分上下文而非完整上下文的机制，以引导生成过程。
• 通过在诗歌各句间逐步构建显著线索，实现连贯性的动态提升。
• 通过整合用户意图与诗歌风格，实现对生成诗歌的灵活控制。
• 评估模型在生成连贯、风格一致且具有创新性的五言绝句（Wujue）与七言绝句（Qijue）诗歌方面的有效性。

提出的方法

• 显著线索机制使用显著性评分函数，从每句已生成的诗句中识别并选择最显著的字符。
• 所选的显著字符构成一个动态演化、持续更新的线索，用于引导解码器生成后续诗句。
• 模型将用户意图与诗歌风格作为辅助信号，进一步引导生成过程。
• 显著性通过tf-idf与一个可学习的显著性网络（SSal）相结合的方式计算，消融实验验证了其有效性。
• 该框架在序列到序列生成模型中实现，采用指针-生成网络以提升覆盖度与控制力。
• 模型支持单次生成，并在自动指标与人工标注双重标准下进行评估。

实验结果

研究问题

• RQ1 动态更新的显著线索是否能在主题与艺术意境方面提升生成中文诗歌的全局连贯性？
• RQ2 与完整上下文建模相比，选择性使用显著部分上下文在保持诗句间连贯性方面表现如何？
• RQ3 整合用户意图与诗歌风格是否能进一步提升生成过程的连贯性与控制力？
• RQ4 显著性选择机制在多大程度上提升了创新性，同时保持了高质量？
• RQ5 在自动指标与人工评估中，所提出的模型与强基线相比表现如何？

主要发现

• 所提出的显著线索机制显著提升了全局连贯性，人工评估在意义、主题与艺术意境方面的得分更高。
• 在自动指标上，模型优于三个强基线模型，五言绝句诗歌风格控制的成功率达到52.5%。
• 基于tf-idf的显著性选择提升了创新性，生成诗歌的Jaccard相似度达到0.042。
• 模型在质量、创新性、参数量（13.6M参数）与生成速度（每首诗1.57秒）之间取得了良好平衡。
• 案例研究显示，SC生成的诗歌保持了高度一致性（如“秋天”引导出“落叶”），而基线模型如seq2seqPG则出现矛盾（如“月亮”后接“日落”）。
• 用户意图与风格控制的整合进一步增强了连贯性，当结合tf-idf显著性与风格监督时，性能达到最高。