[論文レビュー] KIND: an Italian Multi-Domain Dataset for Named Entity Recognition

Teresa Paccosi, Alessio Palmero Aprosio|arXiv (Cornell University)|Dec 30, 2021

Topic Modeling被引用数 4

ひとこと要約

本論文は、ニュース、文学、政治的発言の分野をカバーする100万トークンを超える多言語対応のイタリア語 Named Entity Recognition (NER) データセット KIND を紹介する。手作業によるアノテーションが施された例は60万件に上り、これはイタリア語 NLP モデルのトレーニングと評価を低リソース環境で行うのを支援する、これまでで最大のゴールドスタンダードのイタリア語 NER リソースである。このデータセットは GitHub を通じて CC BY-NC 4.0 ライセンスで無償提供されている。

ABSTRACT

In this paper we present KIND, an Italian dataset for Named-entity recognition. It contains more than one million tokens with annotation covering three classes: person, location, and organization. The dataset (around 600K tokens) mostly contains manual gold annotations in three different domains (news, literature, and political discourses) and a semi-automatically annotated part. The multi-domain feature is the main strength of the present work, offering a resource which covers different styles and language uses, as well as the largest Italian NER dataset with manual gold annotations. It represents an important resource for the training of NER systems in Italian. Texts and annotations are freely downloadable from the Github repository.

研究の動機と目的

• NLP モデルのトレーニングと評価に使用可能な、高品質で手作業でアノテートされたイタリア語 NER データセットの不足を是正すること。
• 異なるテキストスタイルやジャンルにおけるイタリア語の言語的多様性を捉える、多言語・多分野のリソースを構築すること。
• 研究開発を支援するため、特に低リソース環境において、自由に利用可能な高品質なデータセットを提供すること。
• ニュースに加え、文学や政治的発言といった多様な分野を含めることで、既存の NER リソースを拡張すること。
• バランスの取れた多分野のコーパスを通じて、イタリア語 NLP システムの耐性と一般化能力を高めることを支援すること。

提案手法

• データセットは、パブリックドメインや許可の緩いライセンスが適用された公開テキストを用いて構築された。具体的には、Wikinews 記事、イタリア語小説、政治家アルド・モロおよびアルチーデ・デ・ガスパリのスピーチが含まれる。
• 専門の言語学者が、ニュース、文学、政治的発言の分野から合計60万トークンを手作業でアノテートした。アノテーション対象は、人物（PER）、組織（ORG）、場所（LOC）の3種類のエンティティである。
• 半自動パイプラインを用いて、アルド・モロの文章から約40万トークンをアノテートした。既存のアノテーションをマッピングルールとガイドラインに従って変換することで実現した。
• アノテーションプロセスは、文体の違いに関わらず、分野を問わず一貫性のあるガイドラインに従って実施された。
• テキストは信頼できる公開ソースから収集された：Wikinews（CC BY 2.5）、Liber Liber（パブリックドメイン）、イタリア政治家公式アーカイブ。
• データセットは CC BY-NC 4.0 ライセンス（デ・ガスパリのテキストは CC BY-NC-SA 4.0）でリリースされており、非営利研究利用および GitHub を通じた配布を可能にしている。

実験結果

リサーチクエスチョン

• RQ1 高品質なゴールドスタンダードのアノテーションを備えた、大規模かつ多言語・多分野のイタリア語 NER データセットを構築できるか？
• RQ2 KIND でトレーニングされた NER モデルの性能は、ニュース、文学、政治的発言といった多様な分野でどのように比較されるか？
• RQ3 ニュース以外の分野（例：文学、政治スピーチ）を含めることで、イタリア語 NER システムの耐性と一般化能力はどの程度向上するか？
• RQ4 半自動アノテーションパイプラインは、歴史的または形式的な政治的テキストに適用された場合、アノテーション品質をどの程度維持できるか？
• RQ5 KIND は、多言語および低リソース NLP システムの評価と改善のためのベンチマークとして機能できるか？

主な発見

• KIND には100万トークン以上が含まれており、3つの分野（ニュース：308,622トークン、文学：192,448トークン、政治的発言：543,240トークン）にまたがる60万トークンが手作業でアノテートされている。
• 手作業アノテーション部分には、人物10,665件、組織14,955件、場所15,013件のエンティティが含まれており、分野間でバランスの取れた分布となっている。
• このコーパスは、これまでで最大のゴールドスタンダードのイタリア語 NER データセットであり、I-CAB（18万語） や MEANTIME（480記事）といった既存のベンチマークを上回っている。
• アルド・モロのテキスト（392,604トークン）に対する半自動アノテーションは、高い一貫性を示し、形式的な政治的発言を最小限の人的作業で含めることに成功した。
• データセットは CC BY-NC 4.0 で無償提供されており、GitHub リポジトリからテキストとアノテーションの両方が完全に入手可能で、再現性とコミュニティ利用を支援している。
• 文学や政治的発言の取り込みにより、イタリア語 NER リソースの言語的多様性が拡張され、モデルがジャーナリスティックな言語を超えて一般化できるようになった。