[论文解读] Multi-document abstractive summarization using ILP based multi-sentence compression

Siddhartha Banerjee, Prasenjit Mitra+1 more|arXiv (Cornell University)|Sep 22, 2016

Topic Modeling参考文献 20被引用 129

一句话总结

作者提出了一种抽象式多文档摘要器（ILPSumm），它将句子聚类到最重要文档周围，为每个聚簇构建词图以生成 K 条最短路径，并使用 ILP 选择路径，优化信息含量和语言质量，在 DUC 数据集上实现了出色的 ROUGE 表现。

ABSTRACT

Abstractive summarization is an ideal form of summarization since it can synthesize information from multiple documents to create concise informative summaries. In this work, we aim at developing an abstractive summarizer. First, our proposed approach identifies the most important document in the multi-document set. The sentences in the most important document are aligned to sentences in other documents to generate clusters of similar sentences. Second, we generate K-shortest paths from the sentences in each cluster using a word-graph structure. Finally, we select sentences from the set of shortest paths generated from all the clusters employing a novel integer linear programming (ILP) model with the objective of maximizing information content and readability of the final summary. Our ILP model represents the shortest paths as binary variables and considers the length of the path, information score and linguistic quality score in the objective function. Experimental results on the DUC 2004 and 2005 multi-document summarization datasets show that our proposed approach outperforms all the baselines and state-of-the-art extractive summarizers as measured by the ROUGE scores. Our method also outperforms a recent abstractive summarization technique. In manual evaluation, our approach also achieves promising results on informativeness and readability.

研究动机与目标

• 在一组相关文档中识别最具信息量的文档。
• 围绕所选文档对跨文档的句子进行聚类，以捕捉共享信息。
• 通过使用词图从每个聚簇生成简洁、信息丰富且可读的改写句子。
• 通过求解一个 ILP 选择最终句子集合，在最大化信息量和语言质量的同时控制冗余。
• 展示相对于基线和现有抽象方法的更高 ROUGE 分数与人工可读性。

提出的方法

• 使用 LexRank、成对余弦相似度或整体文档集合相似度来计算文档重要性并挑选最重要的文档。
• 基于与重要文档中句子的余弦相似度，将其他文档中的句子分配到聚簇。
• 从每个聚簇通过对齐句子构建词图并提取 K 条最短路径。
• 用 TextRank 的信息量评估每条路径，并用三元语言模型评估语言质量。
• 求解一个 ILP，确保每个聚簇至多选择一条路径并防止跨聚簇冗余，在信息量与语言质量的乘积除以路径长度的目标下最大化。

实验结果

研究问题

• RQ1 是否可以从跨多个文档的相似句子聚簇中有效生成抽象式摘要？
• RQ2 以 ILP 驱动的短小、信息丰富且语言结构良好的路径选择，是否能产生优于抽取式和先前抽象方法的摘要？
• RQ3 识别中心（最重要）文档如何影响多文档聚类与摘要质量？
• RQ4 不同文档重要性度量和聚簇排序策略对最终 ROUGE 性能有何影响？

主要发现

• ILPSumm 方法在 ROUGE 指标上优于基线和最先进的抽取式系统，适用于 DUC 2004 和 2005。
• ILPSumm 在 ROUGE-2、ROUGE-L 和 ROUGE-SU4 上也超过了最近的抽象方法（MSC）。
• 人工评估显示 ILPSumm 相对于 MSC 和 DPP 基线在信息性更高，语言质量具有竞争力。
• 在测试配置中，使用 DocSetSim 作为重要性度量并采用 MO 聚类提供了最佳的 ROUGE 结果。
• 基于语言模型的语言质量分数结合信息分数可得到更易读且信息丰富的摘要。