[论文解读] Improving the Similarity Measure of Determinantal Point Processes for Extractive Multi-Document Summarization

Sangwoo Cho, Logan Lebanoff+2 more|arXiv (Cornell University)|May 31, 2019

Topic Modeling参考文献 66被引用 4

一句话总结

本文提出了一种用于抽取式多文档摘要中确定性点过程（DPPs）的新相似度度量方法，利用胶囊网络联合建模表面层面和语义层面的句子相似度。该方法通过结合TF-IDF余弦相似度与在新型摘要专用句子对数据集上训练的CapsNet嵌入，提升了冗余检测能力，在DUC-04和TAC-11基准测试中达到最先进性能。

ABSTRACT

The most important obstacles facing multi-document summarization include excessive redundancy in source descriptions and the looming shortage of training data. These obstacles prevent encoder-decoder models from being used directly, but optimization-based methods such as determinantal point processes (DPPs) are known to handle them well. In this paper we seek to strengthen a DPP-based method for extractive multi-document summarization by presenting a novel similarity measure inspired by capsule networks. The approach measures redundancy between a pair of sentences based on surface form and semantic information. We show that our DPP system with improved similarity measure performs competitively, outperforming strong summarization baselines on benchmark datasets. Our findings are particularly meaningful for summarizing documents created by multiple authors containing redundant yet lexically diverse expressions.

研究动机与目标

• 为解决多文档摘要中的冗余问题，特别是当文档在词汇多样性下仍共享相同主题时的挑战。
• 克服传统相似度度量方法（如TF-IDF和核方法）在捕捉同义表达和句法变化方面的局限性。
• 开发一种更有效的相似度度量方法，以同时捕捉摘要中句子对的表面形式相似度与语义相似度。
• 证明胶囊网络可被有效适配于建模摘要中的冗余，区别于文本蕴涵或语义文本相似度等任务。
• 通过集成更精细的相似度度量方法，提升基于DPP的抽取式摘要性能，尤其在小型真实世界数据集上。

提出的方法

• 该方法提出了一项新型句子对数据集，专门标注了摘要语境下的冗余性，与现有NLP相似度数据集不同。
• 结合TF-IDF余弦相似度以捕捉主题词重叠，同时利用胶囊网络（CapsNet）嵌入来建模句子之间的语义和结构关系。
• CapsNet在新构建的Src-Summ数据集上进行训练，以预测句子相似度，重点在于检测冗余信息而非蕴涵或等价性。
• DPP模型使用复合相似度度量选择一组多样且具有代表性的句子，确保信息丰富且无冗余。
• 系统通过两阶段流程进行微调：先在Src-Summ数据集上预训练，再在STS数据集上微调，以提升泛化能力。
• 通过热力图和相似度分数对比不同相似度度量方法的性能，包括余弦相似度和CapsNet输出。

实验结果

研究问题

• RQ1 胶囊网络能否有效建模摘要任务中的句子相似度，其中冗余由共享的主题内容定义，而非严格的语义等价？
• RQ2 结合TF-IDF与CapsNet嵌入的相似度度量方法，相较于传统方法（如余弦相似度），在捕捉多文档摘要中冗余性方面表现如何？
• RQ3 在摘要专用数据集（Src-Summ）上训练CapsNet是否优于使用通用NLP数据集（如SNLI或STS）？
• RQ4 改进后的相似度度量在多大程度上提升了基准数据集上基于DPP的抽取式摘要的多样性与质量？
• RQ5 所提出方法能否在小型真实世界数据集上超越强基线模型（如LexRank和pointer-generator网络）？

主要发现

• 所提出的DPP系统结合改进的相似度度量，在DUC-04和TAC-11两个基准数据集上均优于强基线模型，展示了在抽取式多文档摘要任务中的竞争力。
• CapsNet在新构建的Src-Summ数据集上达到94.8%的准确率，显著优于其在STS数据集上的表现（64.7%），并显示出与摘要特定冗余检测的高度一致性。
• TF-IDF余弦相似度与CapsNet嵌入的结合产生了最有效的相似度估计，因其在主题词重叠与语义相似度之间取得平衡，相比在SNLI上训练的CapsNet，显著减少了误报。
• 热力图分析表明，基于Src-Summ训练的CapsNet产生的相似度分数更为适中且现实，而基于SNLI训练的CapsNet或余弦相似度则过于严格或过于宽松。
• 系统成功将如"$3 million"等关键主题词识别为冗余指标，表明词频与主题一致性对有效摘要至关重要。
• 人工评估显示，DPP系统选择的句子集合在平衡性、多样性和代表性方面表现优异，避免了LexRank模型对长句、中心句的过度依赖，也避免了抽取式模型中常见的事实性错误。