[論文レビュー] Automatic Generation of Benchmarks for Entity Recognition and Linking.

Axel-Cyrille Ngonga Ngomo, Michael Röder+3 more|arXiv (Cornell University)|Oct 24, 2017

Topic Modeling参考文献 46被引用数 2

ひとこと要約

本論文では、手動によるアノテーションのコストを回避するために、リンクデータを用いて名前付きエンティティ認識およびリンク（NER&EL）の高品質で大規模なベンチマークを自動生成する手法を提案する。このアプローチにより、既存の手動で作成されたものと類似したゴールドスタンダード品質のベンチマークが得られ、NER&ELツールのスケーラブルでコスト効率の良い評価が可能になる。11のツールを自動生成と手動生成のベンチマークで比較することで、その有効性が実証された。

ABSTRACT

The velocity dimension of Big Data plays an increasingly important role in processing unstructured data. Heretofore, no large-scale benchmarks were available to evaluate the performance of named entity recognition and entity linking solutions. This unavailability was due to the creation of gold standards for named entity recognition and entity linking being a time-intensive, costly and error-prone task. We hence investigate the automatic generation of benchmark texts with entity annotations for named entity recognition and linking from Linked Data. The main advantage of automatically constructed benchmarks is that they can be readily generated at any time, and are cost-effective while being guaranteed to achieve gold-standard quality. We compare the performance of 11 tools on the benchmarks we generate with their performance on 16 benchmarks that were created manually. Our results suggest that our automatic benchmark generation approach can create varied benchmarks that have characteristics similar to those of existing benchmarks. In addition, we perform a large-scale runtime evaluation of entity recognition and linking solutions for the first time in literature. Our experimental results are available at this http URL

研究の動機と目的

• Named Entity Recognition and Linking (NER&EL) システムを評価するための大規模で高品質なベンチマークの不足に対処すること。
• 手動によるベンチマーク作成の限界（時間とコストの消費、誤りの発生）を克服すること。
• リンクデータを用いて、正確なエンティティアノテーションを備えた自動生成テキストのベンチマーク作成手法を開発すること。
• 自動生成されたベンチマークが、手動で作成されたものと類似した特徴を維持することを保証すること。
• 本研究で、NER&ELソリューションの初めての大規模なランタイム評価を可能にすること。

提案手法

• 公開済みのリンクデータソースを活用し、構造化されたエンティティ情報と文脈的なテキストを抽出する。
• リンクデータからのエンティティの表記と文脈的説明を統合して、自然言語のテキストを自動生成する。
• ゴールドスタンダードの精度を持つように、生成されたテキスト内の名前付きエンティティにアノテーションを適用する。
• リンクデータソースに存在する多様なドメインとエンティティタイプからサンプリングすることで、ベンチマークの多様性を確保する。
• ツールのパフォーマンスを手動で作成されたベンチマークと比較することで、生成されたベンチマークの品質を検証する。
• 統計的および定性的な分析を用いて、自動生成と手動生成のベンチマークの類似性を評価する。

実験結果

リサーチクエスチョン

• RQ1 自動生成されたNERおよびエンティティリンク用ベンチマークは、手動で作成されたものと同等のゴールドスタンダード品質に達するか？
• RQ2 自動生成ベンチマークと手動生成ベンチマークで評価した場合、NER&ELツールのパフォーマンス特性にどのような差が生じるか？
• RQ3 自動生成されたベンチマークは、現実世界の非構造的テキストの多様性と複雑さをどの程度反映しているか？
• RQ4 自動ベンチマーク生成手法は、NER&ELツールの大規模かつ再現可能な評価を可能にするか？
• RQ5 大規模な自動生成ベンチマーク上で評価された場合、NER&ELソリューションのスケーラビリティとランタイムパフォーマンスはどの程度か？

主な発見

• 自動ベンチマーク生成手法により、NERおよびエンティティリンクツールの評価に適した高品質でゴールドスタンダードのアノテーションが施されたテキストが成功裏に生成された。
• 11のNER&ELツールの自動生成ベンチマーク上でのパフォーマンスが、手動生成ベンチマーク上でのパフォーマンスと強く類似しており、ベンチマークの特徴に大きな類似性があることが示された。
• 生成されたベンチマークは、エンティティタイプ、ドメイン、言語的パターンの面で十分な多様性を示しており、強固な評価が可能である。
• 本研究では、自動ベンチマーク生成プロセスのスケーラビリティのおかげで、NER&ELソリューションの初めての大規模なランタイム評価が実現した。
• 提供されたURLに掲載された実験結果から、自動生成されたベンチマークが信頼性があり、再現可能なベンチマークに適していることが確認された。