[论文解读] GPT-based Generation for Classical Chinese Poetry

Yi Liao, Yasheng Wang+2 more|arXiv (Cornell University)|Jun 29, 2019

Topic Modeling参考文献 14被引用 34

一句话总结

一个简单的 GPT 基于方法在古典中国诗歌上进行微调以生成跨多种形式的结构良好诗歌，包括藏头诗，无需手工规则。系统使用逐字采样和形式/主题格式来生成多样且连贯的诗歌。

ABSTRACT

We present a simple yet effective method for generating high quality classical Chinese poetry with Generative Pre-trained Language Model (GPT). The method adopts a simple GPT model, without using any human crafted rules or features, or designing any additional neural components. While the proposed model learns to generate various forms of classical Chinese poems, including Jueju, Lüshi, various Cipai and Couples, the generated poems are of very high quality. We also propose and implement a method to fine-tune the model to generate acrostic poetry. To the best of our knowledge, this is the first to employ GPT in developing a poetry generation system. We have released an online mini demonstration program on Wechat to show the generation capability of the proposed method for classical Chinese poetry.

研究动机与目标

• 证明一个简单的 GPT 模型在没有显式形式或内容规则的情况下也能生成高质量的古典中国诗歌。
• 调查模型处理多种形式（绝句、律诗、词牌、对联）以及藏头诗的能力。
• 评估在不同形式与主题下，生成诗歌的形式性、连贯性、多样性和艺术性。

提出的方法

• 在对中文新闻语料预训练后，对古典中国诗歌语料库进行 GPT 模型微调。
• 将训练诗歌序列化为包含 形式、主题、正文的字段，并用标识符分隔。
• 在解码阶段使用逐字生成与截断的 top-k 采样以促进多样性。
• 通过改变序列格式以编码首字字符，训练一个生成藏头诗的单独模型变体。
• 在解码阶段不强加硬约束；依赖模型学习形式和押韵倾向。

实验结果

研究问题

• RQ1 对古典中国诗歌进行微调的 GPT 模型是否能够在不使用显式规则控制器的情况下，在各种传统形式中生成结构良好的诗歌？
• RQ2 模型在隐式学习对仗及其他形式与声调相关约束方面的能力有多强？
• RQ3 模型是否能够生成藏头诗，同时确保指定的字出现在指定的位置？
• RQ4 对于不同主题和形式，生成的诗歌在多样性、连贯性和艺术质量方面如何？

主要发现

• 该方法在多种形式（绝句、律诗、词牌、对联）下生成高质量的诗歌，无需手工规则。
• 在报道的观察中，绝句和律诗的结构性超过 95%，词牌的表现随形式复杂性和数据可用性的不同而变化。
• 模型隐式学习对仗规则和声调模式，在许多情况下产生较好的对仗，尤其是律诗。
• 通过截断的 top-k 采样实现多样性，在同一形式和主题下的多次运行产生不同的输出。
• 通过对输入进行简单的重格式化即可生成藏头诗，引导特定字出现在指定位置。
• 尽管解码阶段未显式约束，押韵和声调模式仍能较好地显现。