[论文解读] Coherent Comment Generation for Chinese Articles with a Graph-to-Sequence Model

Wei Li, Jingjing Xu+4 more|arXiv (Cornell University)|Jun 4, 2019

Topic Modeling参考文献 29被引用 9

一句话总结

本文提出了一种图到序列的模型，通过从中文新闻文章构建话题交互图，以提升评论生成的连贯性和信息量。通过建模话题聚类及其语义关系，该模型在新收集的200,000条样本的中文新闻-评论语料库上，于流畅性、连贯性和信息量方面均优于强基线模型。

ABSTRACT

Automatic article commenting is helpful in encouraging user engagement and interaction on online news platforms. However, the news documents are usually too long for traditional encoder-decoder based models, which often results in general and irrelevant comments. In this paper, we propose to generate comments with a graph-to-sequence model that models the input news as a topic interaction graph. By organizing the article into graph structure, our model can better understand the internal structure of the article and the connection between topics, which makes it better able to understand the story. We collect and release a large scale news-comment corpus from a popular Chinese online news platform Tencent Kuaibao. Extensive experiment results show that our model can generate much more coherent and informative comments compared with several strong baseline models.

研究动机与目标

• 解决长篇中文新闻文章评论生成中的挑战，传统序列到序列模型因文本长度和语义复杂性而难以应对。
• 克服仅使用标题或短文本输入的局限性，这些输入无法提供足够的上下文以生成有意义的评论。
• 通过基于图的表示方法建模新闻文章内部的话题结构及话题间关系，提升评论质量。
• 开发一种联合建模方法，将标题和内容整合到统一的图结构中，以更好地捕捉主要叙事要点。
• 发布一个大规模的真实世界中文新闻-评论数据集（200,000个样本），以支持未来自动评论生成研究。

提出的方法

• 从文章内容和标题中识别以话题为中心的句子聚类，构建话题交互图，每个聚类构成一个顶点。
• 基于话题聚类之间的语义相似性定义顶点间的边，使用预训练的句子嵌入计算成对关系。
• 将标题作为图中的特殊顶点，以锚定主要主题，并引导评论生成聚焦于核心叙事。
• 采用图到序列解码器，使其能够关注图结构中的相关内容，使模型在生成评论时可关注相关的话题聚类。
• 使用带有复制机制的指针-生成网络，以保留输入中的命名实体和关键词，提升事实一致性。
• 采用交叉熵损失对生成的评论序列进行端到端训练，并在推理时使用束搜索（beam search）。

实验结果

研究问题

• RQ1 与序列模型或层次模型相比，基于图的新闻文章表示是否能更好地捕捉内部话题结构和话题间关系？
• RQ2 在话题交互图中将标题作为专用顶点，是否能提升模型识别主要叙事要点的能力？
• RQ3 图到序列模型是否能生成比序列到序列模型或层次注意力模型更具连贯性和信息量的评论？
• RQ4 该模型在生成与关键人物或情节要点相关评论方面表现如何，而非生成通用或无关的评论？
• RQ5 图结构在多大程度上帮助模型避免生成与世界知识相矛盾或错误识别实体的评论？

主要发现

• 与所有基线模型相比，所提出的图2seq模型在信息量方面表现显著更优，体现在独特词汇数量更多且通用评论比例更低。
• 该模型生成的评论最为连贯且主题特定，85%的生成评论提及关键人物或情节要点，而最佳基线模型仅为50%。
• 与最强基线模型（自注意力模型）相比，人类评分的连贯性提升12%，通用评论比例降低20%。
• 案例研究证实，仅图2seq模型正确识别并引用了新闻中的主要人物（王丽君），而其他模型均未能做到。
• 流畅性得分与基线模型相当，表明尽管模型复杂度增加，图结构并未损害语法质量。
• 该模型对输入顺序紊乱具有鲁棒性，即使文章内容非逻辑顺序，仍能生成有意义的评论。