[论文解读] TAP-DLND 1.0 : A Corpus for Document Level Novelty Detection

Tirthankar Ghosal, Amitra Salam+3 more|arXiv (Cornell University)|Feb 20, 2018

Topic Modeling参考文献 20被引用 2

一句话总结

本文介绍了TAP-DLND 1.0，这是一个新型的文档级新颖性检测基准语料库，通过在多个领域内对新闻文章进行周期性、事件特定的网络爬取而构建。该语料库经过人工标注并公开发布，以支持自动新颖性检测系统的评估，填补了该人工智能前沿任务在基准资源方面的关键空白。

ABSTRACT

Detecting novelty of an entire document is an Artificial Intelligence (AI) frontier problem that has widespread NLP applications, such as extractive document summarization, tracking development of news events, predicting impact of scholarly articles, etc. Important though the problem is, we are unaware of any benchmark document level data that correctly addresses the evaluation of automatic novelty detection techniques in a classification framework. To bridge this gap, we present here a resource for benchmarking the techniques for document level novelty detection. We create the resource via event-specific crawling of news documents across several domains in a periodic manner. We release the annotated corpus with necessary statistics and show its use with a developed system for the problem in concern.

研究动机与目标

• 为解决自然语言处理中文档级新颖性检测缺乏标准化基准数据集的问题。
• 构建一个大规模、领域多样的新闻文档语料库，对文档层面的新颖性进行标注。
• 支持在完整文档中检测新颖事件的自动化系统开发与评估。
• 为从事文档级新颖性检测的研究人员提供可复现且可访问的资源。
• 在分类框架内实现对新颖性检测技术的系统性评估。

提出的方法

• 对多个领域内的新闻源进行事件特定的网络爬取，以收集时间相关的文档。
• 定期收集数据，以确保时间覆盖范围并跟踪事件演变。
• 基于文档是否报道新事件或新发展，对文档进行新颖性状态的人工标注。
• 构建包含元数据、文档文本和新颖性标签的结构化语料库，每个实例均包含这些信息。
• 设计一个适合分类任务的框架，以支持新颖性检测模型的训练与评估。
• 包含统计摘要和基线系统评估，以展示语料库的实用性。

实验结果

研究问题

• RQ1 在标准化的文档级基准上评估时，自动新颖性检测系统的性能如何？
• RQ2 现有NLP技术在检测文档级新颖事件时，跨多样化领域的一般化能力如何？
• RQ3 该语料库在时间与领域多样性方面在多大程度上支持对新颖性检测模型的稳健评估？
• RQ4 该语料库能否在分类设置中支持对不同新颖性检测方法的可靠比较？
• RQ5 所提出的标注方案在多大程度上能够捕捉真实新闻内容中的文档级新颖性？

主要发现

• TAP-DLND 1.0是首个公开可用的、在分类框架下人工标注的文档级新颖性检测语料库。
• 该语料库涵盖多个领域，并包含随时间收集的文档，支持对随时间变化的新颖性进行评估。
• 该数据集支持自动化系统的训练与评估，并在基线系统开发中展现出实际效用。
• 该语料库的结构设计支持新颖性检测技术的可复现评估与基准测试。
• 该资源通过支持文档级新颖性检测的系统性评估，填补了自然语言处理研究中的关键空白。
• 该语料库附带全面的统计信息与元数据，以支持多样化的研究应用。