[논문 리뷰] TAP-DLND 1.0 : A Corpus for Document Level Novelty Detection

Tirthankar Ghosal, Amitra Salam외 3명|arXiv (Cornell University)|2018. 02. 20.

Topic Modeling참고 문헌 20인용 수 2

한 줄 요약

이 논문은 여러 도메인에 걸쳐 뉴스 기사의 주기적이고 사안 중심의 크롤링을 통해 제작된 문서 수준의 신규성 검출을 위한 새로운 벤치마크 코퍼스인 TAP-DLND 1.0을 소개한다. 이 코퍼스는 수동으로 주석 처리되어 있으며, 자동화된 신규성 검출 시스템의 평가를 가능하게 하여 이 인공지능 분야의 핵심적 격차를 메운다.

ABSTRACT

Detecting novelty of an entire document is an Artificial Intelligence (AI) frontier problem that has widespread NLP applications, such as extractive document summarization, tracking development of news events, predicting impact of scholarly articles, etc. Important though the problem is, we are unaware of any benchmark document level data that correctly addresses the evaluation of automatic novelty detection techniques in a classification framework. To bridge this gap, we present here a resource for benchmarking the techniques for document level novelty detection. We create the resource via event-specific crawling of news documents across several domains in a periodic manner. We release the annotated corpus with necessary statistics and show its use with a developed system for the problem in concern.

연구 동기 및 목표

• 문서 수준의 신규성 검출을 평가하기 위한 표준화된 벤치마크 데이터셋 부족 문제를 해결하기 위해.
• 문서 수준에서의 신규성에 주석 처리된 대규모이자 도메인 다양성이 확보된 뉴스 문서 코퍼스를 개발하기 위해.
• 전체 문서 내에서 새로운 사안을 검출하는 자동화된 시스템의 개발 및 평가를 지원하기 위해.
• 문서 수준의 신규성 검출을 위한 연구자들이 사용할 수 있는 재현 가능하고 접근 가능한 자원을 제공하기 위해.
• 분류 프레임워크 내에서 신규성 검출 기법의 체계적 평가를 가능하게 하기 위해.

제안 방법

• 다양한 도메인의 뉴스 자료에서 사안 중심의 웹 크롤링을 통해 시간적으로 관련성이 있는 문서를 수집하기 위해.
• 시간적 커버리지 확보 및 사안의 진전 추적을 위해 주기적인 데이터 수집을 수행하기 위해.
• 새로운 사안이나 발전을 보도하는지 여부에 따라 문서의 신규성 상태를 수동으로 주석 처리하기 위해.
• 각 인스턴스에 대해 메타데이터, 문서 텍스트, 신규성 레이블을 포함하는 구조화된 코퍼스를 구축하기 위해.
• 신규성 검출 모델의 학습 및 평가를 지원하기 위한 분류 준비 완료된 프레임워크를 설계하기 위해.
• 코퍼스의 유용성을 입증하기 위해 통계 요약 및 베이스라인 시스템 평가를 포함하기 위해.

실험 결과

연구 질문

• RQ1 표준화된 문서 수준의 벤치마크에서 평가될 경우 자동 신규성 검출 시스템의 성능은 어떠한가?
• RQ2 기존의 자연어 처리 기법들이 다양한 도메인에서 문서 수준의 새로운 사안을 탐지하는 데 얼마나 잘 일반화되는가?
• RQ3 코퍼스의 시간적 및 도메인 다양성이 신규성 검출 모델의 강건한 평가를 얼마나 잘 지원하는가?
• RQ4 분류 설정에서 다양한 신규성 검출 접근 방식 간의 신뢰성 있는 비교를 코퍼스가 지원할 수 있는가?
• RQ5 제안된 주석 처리 체계가 실제 뉴스 콘텐츠의 문서 수준의 신규성을 얼마나 잘 포착하는가?

주요 결과

• TAP-DLND 1.0은 분류 프레임워크 내에서 문서 수준의 신규성 검출을 위한 첫 번째 공개 가능하고 수동 주석 처리된 코퍼스를 제공한다.
• 코퍼스는 여러 도메인을 아우르며 시간 순서로 수집된 문서를 포함하여 시간에 따른 신규성 평가가 가능하다.
• 자동화된 시스템의 학습 및 평가를 지원하며, 기초 시스템 개발에서의 유용성이 입증되었다.
• 재현 가능한 평가 및 벤치마크를 지원하도록 코퍼스가 구조화되어 있다.
• 문서 수준의 신규성 검출에 대한 체계적 평가를 가능하게 하여 자연어 처리 연구 분야에서 중요한 격차를 메운다.
• 다양한 연구 응용을 지원하기 위해 포괄적인 통계 및 메타데이터와 함께 자원이 공개되었다.