[論文レビュー] Introducing RONEC -- the Romanian Named Entity Corpus

Ștefan Daniel Dumitrescu, Andrei-Marius Avram|arXiv (Cornell University)|Sep 3, 2019

Natural Language Processing Techniques参考文献 6被引用数 11

ひとこと要約

本稿では、ルーマニア語の命名参照エンティティコーパスとして、5,127文にわたる26,377のエンティティを含む、最初のオープンソースでゴールドスタンダードのRONECを紹介する。16のクラスにわたり、BRATを用いた反復的で人間によるラベル付けと矛盾の解消を経て作成されたこのコーパスは、CoNLL-U PlusおよびBRAT形式で公開され、spaCy互換のNERモデルも併せて提供され、ルーマニア語NLPにおける高精度なNERのトレーニングと評価を可能にする。

ABSTRACT

We present RONEC - the Named Entity Corpus for the Romanian language. The corpus contains over 26000 entities in ~5000 annotated sentences, belonging to 16 distinct classes. The sentences have been extracted from a copy-right free newspaper, covering several styles. This corpus represents the first initiative in the Romanian language space specifically targeted for named entity recognition. It is available in BRAT and CoNLL-U Plus formats, and it is free to use and extend at github.com/dumitrescustefan/ronec .

研究の動機と目的

• ルーマニア語の専用で高品質な命名参照エンティティコーパスの不足が、NERおよび情報抽出システムの発展を妨えているという問題に対処すること。
• 著作権制限のない、ゴールドスタンダードでオープンソースのコーパスをルーマニア語NLP用に作成すること。
• ジャーナリズムのテキストから得た多様で手作業でアノテートされたデータセットを提供することで、強固なNERモデルの開発を支援すること。
• 進化するアノテーションガイドを備えた再利用可能で拡張可能なコーパスを公開することで、将来のルーマニア語NLPリソースの基盤を築くこと。
• 明確なクラス定義とアノテーター間一致分析を備えたベンチマークデータセットを提供することで、ルーマニア語におけるNERパフォーマンスの向上を図ること。

提案手法

• コーパスは、多言語ニュースポータルであるSETimesから抽出した著作権フリーのニュース記事から構築された。
• エンティティ密度を最大化し、スタイルにわたるドメインカバレッジをバランスさせるために、5,127文を手作業で選定した。
• 4名のアノテーターがカスタムアノテーションガイドを用いて、反復的かつオンラインでBRATプラットフォーム上でアノテーションを実施した。
• アノテーター間一致（IA）は複数のサイクルを経て向上した：初期アノテーション、3/4の一致を要件とする矛盾検出、ペアチームによる再アノテーション、および著者による最終的な手動での解決。
• CoNLL-U Plus形式ではIOBおよびMWEフォーマットでエンティティをラベル付けし、BRAT形式では文字レベルのスパンベースでラベル付けした。
• コーパスと併せて、事前学習済みのspaCy NERモデルを微調整し、即時の下流応用に利用可能にした。

実験結果

リサーチクエスチョン

• RQ1 ルーマニア語における命名参照エンティティ認識リソースの現状は何か？また、どのようなギャップが存在するか？
• RQ2 限られた既存リソースの中で、高品質でゴールドスタンダードのNERコーパスをどのように構築できるか？
• RQ3 特に曖昧または定義が不明瞭なカテゴリに対して、ルーマニア語の多様なエンティティクラス間でどの程度のアノテーター間一致が達成できるか？
• RQ4 自動的にタグ付けされたコーパスと比較して、手作業でアノテートされたコーパスがNLPパフォーマンスにどの程度の向上効果をもたらすか？
• RQ5 ルーマニア語のような低リソース言語に対して、オープンで再利用可能かつ拡張可能なNLPリソースをどのように開発できるか？

主な発見

• RONECには、16の異なるクラス（PERSON, ORG, GPE, LOC, EVENT, MONEY など）にわたる26,377の手作業でアノテートされた命名参照エンティティを含む5,127文が含まれている。
• アノテーター間一致は最初のサイクルで60–70％から、2回目のサイクルで85％以上に向上した。特にORG, NAT_REL_POL, LANGUAGE, GPEでは98％以上の高い一致が達成された。
• DATETIMEとPERIODは重複が多く、アノテーターが不確実な場合にしばしばDATETIMEにデフォルトで分類していた。
• PRODUCTおよびFACILITYクラスは、当初40％未満のアノテーター間一致を示し、範囲の曖昧さとガイドラインの弱さが原因であると判明した。
• CoNLL-U Plusフォーマットでは連続的および非連続的なマルチワードエンティティの両方をサポートしているが、BRAT形式では連続スパンのみがアノテートされた。
• 事前学習済みのspaCy NERモデルは、コーパス上で成功裏にトレーニングされ、公開された。これにより、即時の下流応用が可能になった。