[论文解读] LCSTS: A Large Scale Chinese Short Text Summarization Dataset

Baotian Hu, Qingcai Chen+1 more|arXiv (Cornell University)|Jun 19, 2015

Natural Language Processing Techniques参考文献 19被引用 23

一句话总结

本文介绍了LCSTS，一个大规模中文短文本摘要数据集，包含超过200万条新浪微博帖子及其作者提供的摘要。通过使用基于RNN的编码器-解码器模型并引入注意力机制，作者在ROUGE指标上取得了优异表现（ROUGE-L最高达0.299），证明了该数据集在低资源环境下训练和评估神经网络抽取式摘要模型的实用性。

ABSTRACT

Automatic text summarization is widely regarded as the highly difficult problem, partially because of the lack of large text summarization data set. Due to the great challenge of constructing the large scale summaries for full text, in this paper, we introduce a large corpus of Chinese short text summarization dataset constructed from the Chinese microblogging website Sina Weibo, which is released to the public {http://icrc.hitsz.edu.cn/Article/show/139.html}. This corpus consists of over 2 million real Chinese short texts with short summaries given by the author of each text. We also manually tagged the relevance of 10,666 short summaries with their corresponding short texts. Based on the corpus, we introduce recurrent neural network for the summary generation and achieve promising results, which not only shows the usefulness of the proposed corpus for short text summarization research, but also provides a baseline for further research on this topic.

研究动机与目标

• 通过从新浪微博挖掘自然标注的数据，解决大规模、高质量中文文本摘要数据集稀缺的问题。
• 构建一个公开可用的大规模数据集，适用于中文神经网络抽取式摘要模型的训练与评估。
• 提供标准化的训练集与测试集划分，以支持摘要模型的可复现性基准测试。
• 探索基于RNN的模型在使用所提出数据集进行中文短文本摘要任务中的有效性。
• 为未来研究建立基于序列到序列模型与注意力机制的基线性能。

提出的方法

• 通过收集认证新浪微博账号发布的短文本及其对应的作者撰写摘要，构建该数据集。
• 选取10,666个样本进行人工标注，以验证数据质量。
• 实现基于RNN的编码器-解码器框架，采用字符级与词级两种输入分词方式。
• 模型使用门控循环单元（GRUs）并引入注意力机制，以在解码过程中关注编码器的隐藏状态。
• 评估两种架构：一种不使用上下文（仅使用最终编码器状态），另一种使用上下文（使用所有编码器隐藏状态）。
• 在Tesla M2090 GPU上使用ADADELTA优化算法进行训练，并采用束搜索（beam size=10）进行解码。

实验结果

研究问题

• RQ1 能否从社交媒体中有效构建大规模、自然标注的中文短文本摘要数据集？
• RQ2 在中文摘要任务中，不同输入表示方式（字符级 vs. 词级）对基于RNN模型的性能有何影响？
• RQ3 与简单的编码器-解码器结构相比，引入注意力机制是否能提升摘要质量？
• RQ4 在人工标注有限的情况下，模型性能与人类评估的相关性如何？
• RQ5 在词级模型中，对罕见或未登录词（OOV）实体的生成面临哪些主要挑战？

主要发现

• LCSTS数据集包含超过200万条真实的中文短文本及其对应摘要，是迄今为止最大的公开中文摘要数据集。
• 使用上下文注意力机制的RNN模型表现最佳，在字符级输入下ROUGE-L F1分数达到0.299。
• 字符级输入优于词级输入，ROUGE-L分数分别为0.299与0.241，可能是因为显著减少了OOV（词汇外）问题。
• 引入上下文注意力机制的模型显著优于无上下文的基线模型，表明关注所有编码器隐藏状态能有效提升摘要质量。
• 词级模型生成的摘要中包含大量UNK标记（例如，对罕见名称如“愿景光电子”），凸显了罕见实体处理的挑战。
• 结果表明，当在足够大且高质量的数据集（如LCSTS）上进行训练时，深度学习模型能够生成高质量的抽取式摘要。