[论文解读] Chinese Poetry Generation with a Working Memory Model

Xiaoyuan Yi, Maosong Sun+2 more|arXiv (Cornell University)|Sep 12, 2018

Topic Modeling被引用 7

一句话总结

本文提出了一种用于中文诗歌生成的工作记忆模型，通过在动态记忆中显式维护主题和显著的历史内容，以提升诗歌的连贯性。该模型在生成过程中选择性地读取和写入记忆槽，实现了在绝句、五言诗和中国风歌词等多种体裁上的最先进性能，在自动评估和人工评估中均优于先前方法。

ABSTRACT

As an exquisite and concise literary form, poetry is a gem of human culture. Automatic poetry generation is an essential step towards computer creativity. In recent years, several neural models have been designed for this task. However, among lines of a whole poem, the coherence in meaning and topics still remains a big challenge. In this paper, inspired by the theoretical concept in cognitive psychology, we propose a novel Working Memory model for poetry generation. Different from previous methods, our model explicitly maintains topics and informative limited history in a neural memory. During the generation process, our model reads the most relevant parts from memory slots to generate the current line. After each line is generated, it writes the most salient parts of the previous line into memory slots. By dynamic manipulation of the memory, our model keeps a coherent information flow and learns to express each topic flexibly and naturally. We experiment on three different genres of Chinese poetry: quatrain, iambic and chinoiserie lyric. Both automatic and human evaluation results show that our model outperforms current state-of-the-art methods.

研究动机与目标

• 为解决神经网络诗歌生成中长期存在的连贯性挑战，特别是各联之间主题一致性与主题流的保持。
• 通过模拟人类写作过程中的认知工作记忆机制，即在推理与生成过程中保持有限但相关的信息，实现类人写作。
• 通过将主题和显著历史内容分别存储于独立的动态记忆槽中，而非压缩为单一隐藏向量，提升主题表达与过渡的流畅性。
• 通过引入体裁条件嵌入，控制语调、行长度与押韵等特征，实现同一模型在多种诗歌体裁中的灵活生成。

提出的方法

• 模型采用多组有限记忆槽的机制，在生成过程中存储并检索关键主题与近期诗句内容。
• 主题在记忆中独立维护，并根据与当前生成步骤的相关性选择性读取，从而实现聚焦且连贯的诗句生成。
• 每生成一行后，模型会提取并写入最具信息量的部分到记忆槽中，仅保留最相关的上下文历史。
• 引入体裁嵌入以控制结构与语音约束（如声调、行长度、押韵），使同一模型能够生成多种诗歌形式。
• 模型使用注意力机制计算记忆读取概率，实现在自回归解码过程中对相关记忆内容的动态聚焦。
• 提出主题轨迹（Topic Trace）机制，显式追踪已使用过的主题，减少重复并提升主题覆盖度。

实验结果

研究问题

• RQ1 通过动态管理的记忆机制，显式维护相关主题与部分历史内容，是否能提升神经诗歌生成的连贯性？
• RQ2 与将历史信息压缩为单一隐藏向量的方法相比，显式管理主题与显著内容在主题表达与流畅性方面表现如何？
• RQ3 单一模型架构在共享记忆机制与体裁嵌入的条件下，能在多大程度上实现多样化诗歌体裁的生成？
• RQ4 记忆槽数量如何影响生成质量？不同诗歌形式的最优配置是什么？
• RQ5 该模型能否在复杂体裁（如五言诗）中实现人类水平的连贯性，特别是在主题表达与主题流方面？

主要发现

• 在绝句体裁中，工作记忆（WM）模型在连贯性与相关性方面达到人类水平，得分接近人工标注的诗歌。
• 在五言诗体裁中，WM在BLEU、困惑度与人工评估中全面优于所有基线模型，尽管由于体裁复杂性，与人类诗人的差距仍存在。
• 在中文风歌词体裁中，WM在所有模型中取得最高流畅度得分，得益于体裁嵌入对结构与语音的精确控制。
• 6个记忆槽的模型在五言诗与歌词生成中达到最优性能，槽数过多或过少均导致性能下降。
• 消融实验表明，移除主题轨迹机制后，主题覆盖度与相关性下降，证实其在显式主题追踪中的关键作用。
• 案例研究显示，模型能动态关注相关记忆内容——例如在生成‘信’时聚焦于‘思念’——展现出语境恰当、语义根基扎实的生成。