[論文レビュー] RuNNE-2022 Shared Task: Recognizing Nested Named Entities

Ekaterina Artemova, Maxim Zmeev+5 more|arXiv (Cornell University)|May 23, 2022

Topic Modeling被引用数 6

ひとこと要約

本論文は、29種類のエンティティタイプと最大6段階のネスティングを有するNERELデータセットを用いて、ロシア語におけるネスト型名前付きエンティティ抽出（nested NER）のためのRuNNE-2022共有タスクを提示する。一般設定およびフェイシュット設定の両方を評価し、注意深く設計されたルールベースのシステムがニューラルモデルを上回ることを明らかにした。また、手動でのデータラベル付けなしに最高の性能を示したニューラルアプローチは、機械読解モデルであった。

ABSTRACT

The RuNNE Shared Task approaches the problem of nested named entity recognition. The annotation schema is designed in such a way, that an entity may partially overlap or even be nested into another entity. This way, the named entity "The Yermolova Theatre" of type "organization" houses another entity "Yermolova" of type "person". We adopt the Russian NEREL dataset for the RuNNE Shared Task. NEREL comprises news texts written in the Russian language and collected from the Wikinews portal. The annotation schema includes 29 entity types. The nestedness of named entities in NEREL reaches up to six levels. The RuNNE Shared Task explores two setups. (i) In the general setup all entities occur more or less with the same frequency. (ii) In the few-shot setup the majority of entity types occur often in the training set. However, some of the entity types are have lower frequency, being thus challenging to recognize. In the test set the frequency of all entity types is even. This paper reports on the results of the RuNNE Shared Task. Overall the shared task has received 156 submissions from nine teams. Half of the submissions outperform a straightforward BERT-based baseline in both setups. This paper overviews the shared task setup and discusses the submitted systems, discovering meaning insights for the problem of nested NER. The links to the evaluation platform and the data from the shared task are available in our github repository: https://github.com/dialogue-evaluation/RuNNE.

研究の動機と目的

• 豊富にアノテートされたデータセットを用いて、ロシア語におけるネスト型名前付きエンティティ抽出（NER）を前進させるための共有タスクを実施すること。
• 訓練データにおける希少エンティティタイプを含むが、テストではバランスが取れた状況を想定した一般設定およびフェイシュット設定の両方で、システムを評価すること。
• 複雑なネスト構造を持つエンティティを処理する際のニューラルモデルとルールベース手法の性能を比較すること。
• エンティティタイプ分類における一般的な誤りパターンとシステム間の合意度を特定すること。
• 今後の低リソース・複雑な言語的状況におけるネスト型NER研究のためのベンチマークとオープンデータを提供すること。

提案手法

• 共有タスクは、ウィキニュースから抽出されたロシア語コーパスであるNERELデータセットを用いる。このデータセットには29種類のエンティティタイプと最大6段階のネスティングが含まれる。
• 2つの評価設定を定義する：一般設定（エンティティ頻度がバランスされている）とフェイシュット設定（訓練データでは低頻度のタイプ、テストではバランスされている）。
• 参加者はニューラルネットワーク、ルールベース手法、またはハイブリッドアプローチを用いたシステムを提出した。
• 評価は正確なスパンとタイプの一致に基づき、精度、再現率、F1スコアなどの指標を用いる。
• 誤り分析では、誤分類されたエンティティタイプとCohenのカッパ係数を用いたペアワイズ合意度を評価する。
• 手動での追加データラベル付けなしに最高の性能を示したニューラルベースラインは、機械読解（MRC）モデルであった。

実験結果

リサーチクエスチョン

• RQ1 反復的なルール開発を経て最適化されたルールベースシステムは、ネスト型NERにおいてニューラルモデルを上回ることができるか？
• RQ2 低頻度エンティティタイプを含むフェイシュットネスト型NERシナリオにおいて、異なるニューラルアーキテクチャはどのように性能を発揮するか？
• RQ3 異なるシステム間で共通して見られるエンティティタイプ分類の誤りパターンは何か？
• RQ4 システムの予測同士の相関関係はどのようになっており、一般化性能とルールベース学習の違いに何を示唆しているか？
• RQ5 追加の手動データラベル付けなしに、どのモデルアーキテクチャが最高の性能を示すか？

主な発見

• 156件の提出の半数以上が、一般設定およびフェイシュット設定の両方でBERTベースのベースラインを上回った。
• ルールベースシステム（pullenti）が強く、手作業で調整されたルールが適切に設計されればニューラルモデルを上回ることを示した。
• 手動でのデータラベル付けなしに最高の性能を示したニューラルモデルは、機械読解（MRC）モデルであった。
• 最も一般的な誤りは、'organization'が'facility'や'country'が'nationality'に誤分類されるようなタイプの誤分類であった。
• 3つの性能が低かったシステム（svetlan, botbot, Stud2022）は、互いに高く一致し、ルールベースシステムとも一致していたため、ルールに類似した学習パターンを示していた。
• ペアワイズシステム合意度のCohenのカッパ係数は0.28から0.78の間であり、一貫性の程度が異なることが示され、特にルールベースシステム同士がクラスタを形成していた。