[論文レビュー] TAP-DLND 1.0 : A Corpus for Document Level Novelty Detection

Tirthankar Ghosal, Amitra Salam+3 more|arXiv (Cornell University)|Feb 20, 2018

Topic Modeling参考文献 20被引用数 2

ひとこと要約

本論文は、複数のドメインにまたがるニュース記事の定期的・イベント特化型クローリングにより作成された、文書レベルの新奇性検出のための新規ベンチマークコーパス、TAP-DLND 1.0を紹介する。このコーパスは手動でアノテートされており、自動的新奇性検出システムの評価を可能にするために公開されている。これは、このAI分野の最先端タスクにおけるベンチマークリソースの重要な欠落を埋めるものである。

ABSTRACT

Detecting novelty of an entire document is an Artificial Intelligence (AI) frontier problem that has widespread NLP applications, such as extractive document summarization, tracking development of news events, predicting impact of scholarly articles, etc. Important though the problem is, we are unaware of any benchmark document level data that correctly addresses the evaluation of automatic novelty detection techniques in a classification framework. To bridge this gap, we present here a resource for benchmarking the techniques for document level novelty detection. We create the resource via event-specific crawling of news documents across several domains in a periodic manner. We release the annotated corpus with necessary statistics and show its use with a developed system for the problem in concern.

研究の動機と目的

• 自然言語処理における文書レベルの新奇性検出を評価するための標準化されたベンチマークデータセットの不足に対処すること。
• 文書レベルで新奇性がアノテートされた、大規模かつドメインに多様性を持つニュースドキュメントコーパスの開発。
• 全文書内の新規イベントを検出する自動システムの開発と評価を支援すること。
• 文書レベルの新奇性検出に取り組む研究者にとって再現可能でアクセス可能なリソースを提供すること。
• 分類フレームワーク内での新奇性検出手法の体系的評価を可能にすること。

提案手法

• 複数ドメインのニュースソースに対するイベント特化型ウェブクローリングにより、時系列的に関連性のあるドキュメントを収集する。
• 定期的なデータ収集により、時系列的カバレッジとイベントの進化の追跡を確保する。
• 新規イベントや進展を報じているかどうかに基づき、ドキュメントの新奇性状態を手動でアノテートする。
• 各インスタンスに対してメタデータ、ドキュメント本文、新奇性ラベルを含む構造化されたコーパスを構築する。
• 新奇性検出モデルの学習と評価を支援する分類対応フレームワークを設計する。
• 統計的要約とベースラインシステムの評価を含め、コーパスの実用性を示す。

実験結果

リサーチクエスチョン

• RQ1 標準化された文書レベルのベンチマーク上で評価された場合、自動的新奇性検出システムのパフォーマンスはどの程度か？
• RQ2 既存のNLP技術は、文書レベルの新奇なイベントを検出するにあたり、多様なドメインに一般化してどの程度うまく機能するか？
• RQ3 コーパスの時系列的およびドメイン的多様性は、新奇性検出モデルの堅牢な評価をどの程度支援するか？
• RQ4 分類設定において、このコーパスは異なる新奇性検出アプローチの信頼性のある比較を可能にするか？
• RQ5 提案されたアノテーションスキームは、実世界のニュースコンテンツにおける文書レベルの新奇性をどの程度的確に捉えているか？

主な発見

• TAP-DLND 1.0は、分類フレームワークにおける文書レベルの新奇性検出のための、公開済みで手動アノテート済みのコーパスとして、初めてのものである。
• コーパスは複数のドメインをカバーしており、時系列的に収集されたドキュメントを含んでおり、時間経過に伴う新奇性の評価を可能にする。
• 自動化されたシステムの学習と評価を支援するが、ベースラインシステム開発における実用性が実証されている。
• 新奇性検出手法の再現可能な評価とベンチマーク化を支援する構造になっている。
• 文書レベルの新奇性検出の体系的評価を可能にするという点で、NLP研究における重要な空白を埋めている。
• 多様な研究応用を支援するため、包括的な統計とメタデータとともにリリースされている。