[論文レビュー] CLUENER2020: Fine-grained Named Entity Recognition Dataset and Benchmark for Chinese

Liang Xu, Tong Yu+8 more|arXiv (Cornell University)|Jan 13, 2020

Topic Modeling参考文献 12被引用数 48

ひとこと要約

本論文は、10 のエンティティカテゴリを持つ細粒度の中国語 NER データセットである CLUENER2020 を紹介し、今後の研究を促進するためのベースラインと人間のパフォーマンス分析を提供する。

ABSTRACT

In this paper, we introduce the NER dataset from CLUE organization (CLUENER2020), a well-defined fine-grained dataset for named entity recognition in Chinese. CLUENER2020 contains 10 categories. Apart from common labels like person, organization, and location, it contains more diverse categories. It is more challenging than current other Chinese NER datasets and could better reflect real-world applications. For comparison, we implement several state-of-the-art baselines as sequence labeling tasks and report human performance, as well as its analysis. To facilitate future work on fine-grained NER for Chinese, we release our dataset, baselines, and leader-board.

研究の動機と目的

• 多様なエンティティカテゴリを持つ細粒度の中国語 NER データセットを定義する。
• 中国語NERにおける公正な比較のためのベンチマークとベースラインモデルを提供する。
• 中国語における細粒度 NER の難易度と実世界での適用性を分析する。

提案手法

• 一般的なラベルを超える10のエンティティカテゴリを備えた中国語 NER データセットを収集・注釈する。
• いくつかの最先端ベースラインモデルを系列ラベリングタスクとして実装する。
• CLUENER2020 データセット上でベースラインと人間のパフォーマンスを評価する。
• データセット、ベースライン、リーダーボードをコミュニティへ公開する。

実験結果

リサーチクエスチョン

• RQ1 中国語における細粒度 NER の利点と課題は、粗粒度のラベルと比較してどうか？
• RQ2 複数のエンティティカテゴリにまたがる CLUENER2020 データセットで、現代の系列ラベリングベースラインはどの程度の性能を示すか？
• RQ3 この細粒度中国語 NER タスクにおける人間のパフォーマンスは、自動化ベースラインとどのように比較されるか？

主な発見

• CLUENER2020 は、十個のカテゴリをカバーする、よく定義された細粒度の中国語 NER データセットを提供する。
• 競争力のあるベンチマークを確立するために、データセット上でベースラインモデルを評価する。
• 専門家のラベリングと比較してモデルの性能を位置づけるために、人間のパフォーマンスが報告されている。
• 将来の研究を促進するために、データセット、ベースライン、リーダーボードが公開される。