[论文解读] Multi-Document Keyphrase Extraction: A Literature Review and the First Dataset.

Ori Shapira, Ramakanth Pasunuru+2 more|arXiv (Cornell University)|Oct 3, 2021

Advanced Text Analysis Techniques参考文献 34被引用 1

一句话总结

本文首次提出了针对多文档关键词提取任务的文献综述与基准数据集 MK-DUC-01，该任务尽管在摘要生成和文档集描述中具有重要价值，但长期以来研究不足。作者在所提出的数据集上评估了现有基线方法，证明了专门针对多文档关键词提取方法的可行性和必要性。

ABSTRACT

Keyphrase extraction has been comprehensively researched within the single-document setting, with an abundance of methods and a wealth of datasets. In contrast, multi-document keyphrase extraction has been infrequently studied, despite its utility for describing sets of documents, and its use in summarization. Moreover, no dataset existed for multi-document keyphrase extraction, hindering the progress of the task. Recent advances in multi-text processing make the task an even more appealing challenge to pursue. To initiate this pursuit, we present here the first literature review and the first dataset for the task, MK-DUC-01, which can serve as a new benchmark. We test several keyphrase extraction baselines on our data and show their results.

研究动机与目标

• 为解决多文档关键词提取领域研究不足与数据集匮乏的问题，应对日益增长的摘要生成与文档集理解需求。
• 呈现首份关于多文档关键词提取方法及其挑战的全面文献综述。
• 提出 MK-DUC-01，首个公开可用的多文档关键词提取数据集，用作基准。
• 在新数据集上评估现有关键词提取基线方法，以建立基线性能。

提出的方法

• 开展系统性文献综述，聚焦多文档关键词提取方法，识别现有方法中的研究空白与趋势。
• 从多文档集合构建 MK-DUC-01 数据集，通过人工标注关键词确保其相关性与质量。
• 在多文档输入上应用标准关键词提取基线方法（如 TF-IDF、TextRank 和 YAKE），以评估性能。
• 使用文档级特征聚合方法，在关键词评分前整合多篇文档的信息。
• 应用归一化与过滤技术，从输出中去除低质量或重复的关键词。
• 使用标准指标（如精确率、召回率与 F1 值）在 MK-DUC-01 的标注关键词上评估性能。

实验结果

研究问题

• RQ1 现有多文档关键词提取方法的主要挑战与局限性是什么？
• RQ2 既有的单文档关键词提取方法在适配多文档输入时表现如何？
• RQ3 所提出的 MK-DUC-01 数据集在多大程度上支持多文档关键词提取模型的可靠基准测试？
• RQ4 单文档与多文档设置下的关键词模式存在哪些关键差异？

主要发现

• MK-DUC-01 数据集为多文档关键词提取提供了首个标准化基准，支持可复现的评估。
• TF-IDF 与 TextRank 等基线方法在多文档设置下表现中等，表明仍有改进空间。
• YAKE 在该数据集上表现相对优异，表明其凭借无监督、与语言无关的特征学习，对多文档输入具有较强鲁棒性。
• 结果表明，多文档关键词提取需要区别于简单适配单文档方法的建模策略。
• 文献综述揭示了显著的研究空白：尽管该任务具有实际相关性，但仅有少数研究关注多文档设置。
• 该数据集与基线结果为未来多文档关键词提取研究奠定了基础。