[论文解读] A Planning based Framework for Essay Generation

Bing Qin, Duyu Tang+4 more|arXiv (Cornell University)|Dec 18, 2015

Topic Modeling参考文献 24被引用 6

一句话总结

本文提出了一种基于规划的自动作文生成框架，仅需输入一个主题词即可生成连贯、结构化的作文。该框架利用语义向量表示进行主题理解、句子选择和句子重排，其中递归神经网络在句子重排任务中优于传统方法。该方法具有语言无关性，并在中文语料上进行了验证，生成的作文在连贯性和组织性方面均有提升。

ABSTRACT

Generating an article automatically with computer program is a challenging task in artificial intelligence and natural language processing. In this paper, we target at essay generation, which takes as input a topic word in mind and generates an organized article under the theme of the topic. We follow the idea of text planning \cite{Reiter1997} and develop an essay generation framework. The framework consists of three components, including topic understanding, sentence extraction and sentence reordering. For each component, we studied several statistical algorithms and empirically compared between them in terms of qualitative or quantitative analysis. Although we run experiments on Chinese corpus, the method is language independent and can be easily adapted to other language. We lay out the remaining challenges and suggest avenues for future research.

研究动机与目标

• 开发一种从单一主题词输入生成连贯、主题聚焦作文的框架。
• 解决在自然语言输出中实现语篇连贯性和语义连贯性的挑战。
• 探索基于语义表示的、语言无关的作文生成方法。
• 通过实证评估与比较不同技术在主题理解、句子选择和句子重排中的表现。

提出的方法

• 通过同义词词典、主题模型和词嵌入进行主题扩展，随后通过聚类识别支持性论点。
• 基于支持性词语与候选句子之间的语义相似度进行句子选择，采用基于嵌入和递归神经网络的模型。
• 通过语篇连贯性和语义相关性指导句子重排，使用递归神经网络建模句子间关系。
• 通过从所选句子中提取新证据，利用反馈机制丰富支持性词语集合。
• 使用中文语料对框架进行评估，通过定量与定性比较分析不同方法的表现。
• 该方法设计为语言无关，可轻松适配除中文外的其他语言。

实验结果

研究问题

• RQ1 如何有效将一个主题词扩展为语义连贯的论点以支持作文生成？
• RQ2 哪些方法最能有效支持从大规模语料库中选择与主题相关联的句子？
• RQ3 如何优化句子顺序以确保生成作文的语篇连贯性和语义流畅性？
• RQ4 不同语义表示模型（如词嵌入与递归神经网络）在多大程度上提升了句子重排性能？
• RQ5 反馈机制在多大程度上能提升生成作文中支持性内容的质量与多样性？

主要发现

• 基于词嵌入和主题模型的方法在主题理解方面优于基于同义词词典的方法，生成了更相关且更多样化的论点。
• 递归神经网络在句子重排任务中显著优于词袋模型和平均嵌入方法，展现出对句子级语义关系更优的建模能力。
• 该框架生成的作文在连贯性和结构组织方面均有提升，通过中文语料的定性与定量分析得到验证。
• 反馈机制成功从提取的句子中识别出新的支持性词语，丰富了论点表征并提升了内容多样性。
• 该方法在不同语义表示技术下均表现有效，且可适配其他语言，显示出强大的泛化潜力。