[论文解读] Investigating Keyphrase Indexing with Text Denoising

Rushdi Shams, Robert E. Mercer|arXiv (Cornell University)|Apr 10, 2012

Advanced Text Analysis Techniques参考文献 10被引用 5

一句话总结

本文通过在食品与农业、高能物理和生物医学科学三个领域使用Maui关键词索引器，研究了文本去噪对关键词索引性能的影响。通过在70%原始长度的去噪文本上训练Maui，研究发现，与完整文本相比，索引性能要么持平，要么更优，表明通过Fog指数识别出的内容丰富句子，其在关键词抽取方面的提升效果优于文档整体大小。

ABSTRACT

In this paper, we report on indexing performance by a state-of-the-art keyphrase indexer, Maui, when paired with a text extraction procedure called text denoising. Text denoising is a method that extracts the denoised text, comprising the content-rich sentences, from full texts. The performance of the keyphrase indexer is demonstrated on three standard corpora collected from three domains, namely food and agriculture, high energy physics, and biomedical science. Maui is trained using the full texts and denoised texts. The indexer, using its trained models, then extracts keyphrases from test sets comprising full texts, and their denoised and noise parts (i.e., the part of texts that remains after denoising). Experimental findings show that against a gold standard, the denoised-text-trained indexer indexing full texts, performs either better than or as good as its benchmark performance produced by a full-text-trained indexer indexing full texts.

研究动机与目标

• 评估与全文字训练相比，文本去噪是否能提升关键词索引性能。
• 确定在不同领域中，关键词抽取的最优去噪阈值（以文本长度计）。
• 评估去除低可读性、内容贫乏的文本（即噪声）是否能提升或降低索引器性能。
• 探究原本为生物医学关系抽取设计的文本去噪方法，是否能有效泛化至关键词索引任务。
• 使用精确率、召回率、F1值和索引器间一致性等指标，比较Maui在去噪文本、全文字和噪声文本子集上的表现。

提出的方法

• 使用Fog指数识别出最富内容的70%句子（即句法复杂度更高、多音节词更多的句子）以评估可读性，从而实施文本去噪。
• 从三个领域（食品与农业（FAO-780）、高能物理（CERN-290）、生物医学科学（NLM-500））的完整文档中提取去噪文本。
• 在全文字和去噪文本子集上分别训练Maui（一种先进的关键词索引器），生成两种模型变体：全文字训练模型和去噪文本训练模型。
• 在所有数据集上使用十折交叉验证进行训练和测试，以确保性能评估的稳健性。
• 使用标准指标（精确率、召回率、F1值和与黄金标准的索引器间一致性（Fleiss’ kappa））评估性能。
• 对30%原始长度的噪声文本也进行测试，以评估其是否对关键词抽取有贡献或造成负面影响。

实验结果

研究问题

• RQ1 在70%原始长度的去噪文本上训练Maui，其关键词索引性能是否优于或至少不逊于全文字训练？
• RQ2 在不同领域中，能最大化关键词抽取性能的最优去噪阈值（以原始文本的百分比计）是多少？
• RQ3 Maui在去噪文本上的表现与在全文字和噪声文本子集上的表现相比如何？
• RQ4 与非生物医学领域相比，文本去噪在生物医学文本中对索引质量的提升程度如何？
• RQ5 被移除的噪声文本（30%）是否真的无贡献，还是其仍包含潜在的关键词信号？

主要发现

• 在NLM-500生物医学语料库上，Maui在去噪文本（原始长度的70%）上训练的模型，F1值达到31.50，略高于其基准F1值31.13（95%置信水平）。
• 在CERN-290高能物理语料库上，Maui的去噪文本训练模型在索引全文字时，F1值达到24.82，优于专用的BibClassify索引器（F1值：18.80）。
• 在FAO-780食品与农业语料库上，Maui在去噪文本训练模型上的表现与全文字模型的基准表现持平或更优。
• 索引器间一致性测量结果表明，使用去噪文本时，Maui的关键词质量保持高水平或有所提升，尤其在生物医学文本中表现更明显。
• 噪声文本（原始长度的30%）并未提升索引性能，反而增加了错误率，表明其几乎不含任何有用的关键词信号。
• 文本去噪不仅对生物医学关系抽取有效，对关键词索引任务同样有效，其优势也延伸至物理和农业等非生物医学领域。