[論文レビュー] HiNER: A Large Hindi Named Entity Recognition Dataset

Rudra Murthy, Pallab Bhattacharjee+4 more|arXiv (Cornell University)|Apr 28, 2022

Topic Modeling被引用数 10

ひとこと要約

この論文では、11種類のエンティティタイプでラベル付けされた109,146文および220万トークンを含む大規模かつ人手でアノテートされたヒンディー語 Named Entity Recognition (NER) データセット、HiNER を紹介する。XLM-RoBERTa-large を HiNER で微調整した結果、重み付き F1 スコアが 88.78 を達成され、ヒンディー語 NER において最先端の性能を示し、低リソースなインド語 NLP リソースにおける重要な空白を埋めることを示した。

ABSTRACT

Named Entity Recognition (NER) is a foundational NLP task that aims to provide class labels like Person, Location, Organisation, Time, and Number to words in free text. Named Entities can also be multi-word expressions where the additional I-O-B annotation information helps label them during the NER annotation process. While English and European languages have considerable annotated data for the NER task, Indian languages lack on that front -- both in terms of quantity and following annotation standards. This paper releases a significantly sized standard-abiding Hindi NER dataset containing 109,146 sentences and 2,220,856 tokens, annotated with 11 tags. We discuss the dataset statistics in all their essential detail and provide an in-depth analysis of the NER tag-set used with our data. The statistics of tag-set in our dataset show a healthy per-tag distribution, especially for prominent classes like Person, Location and Organisation. Since the proof of resource-effectiveness is in building models with the resource and testing the model on benchmark data and against the leader-board entries in shared tasks, we do the same with the aforesaid data. We use different language models to perform the sequence labelling task for NER and show the efficacy of our data by performing a comparative evaluation with models trained on another dataset available for the Hindi NER task. Our dataset helps achieve a weighted F1 score of 88.78 with all the tags and 92.22 when we collapse the tag-set, as discussed in the paper. To the best of our knowledge, no available dataset meets the standards of volume (amount) and variability (diversity), as far as Hindi NER is concerned. We fill this gap through this work, which we hope will significantly help NLP for Hindi. We release this dataset with our code and models at https://github.com/cfiltnlp/HiNER

研究の動機と目的

• ヒンディー語、低リソースなインド語のための、大規模で高品質で人手でアノテートされた NER データセットの不足を解消すること。
• 大文字の欠如、語彙的曖昧さ、綴りのばらつき、自由な語順といった、ヒンディー語 NER の課題を克服すること。
• 堅牢なディープラーニングモデルのトレーニングを可能にする、標準的で多様かつスケーラブルなデータセットを構築すること。
• データセット、アノテーションツール、微調整済みモデルを公開し、ヒンディー語 NLP の研究を加速させること。
• 高品質で標準準拠のデータセットを提供することで、将来のヒンディー語 NLP モデルのベンチマークを確立すること。

提案手法

• データセットは、1名の専門アノテーターが関与する複数段階のアノテーションプロセスを通じて作成され、初期タグ付けにはカスタムバックエンド NER エンジンが使用された。
• アノテーションツールは I/O-B タギングをサポートしており、モデル予測ラベルの後処理も可能で、アノテーションの効率性と正確性が向上した。
• NER タグセットには、Person、Location、Organization、Number、Time、Date、Money、Percent、Title、Misc、Language の11クラスが含まれる。
• 著者は、シーケンスラベリングのため、HiNER データセット上で複数の事前学習済み多言語言語モデル（XLM-RoBERTa-large を含む）を微調整した。
• 評価には厳密かつ正確な F1 メトリクスが使用され、モデルの挙動を評価するためにエンティティタイプごとのエラー分析が実施された。
• データセットは CC-BY-SA 4.0 の下で公開され、コードとトレーニング済みモデルを含むため、再現性と後続研究を支援する。

実験結果

リサーチクエスチョン

• RQ1 大規模で人手でアノテートされたヒンディー語 NER データセットは、小規模または自動アノテートされたデータセットと比較して、モデル性能を顕著に向上させることができるか？
• RQ2 HiNER におけるエンティティタイプの分布は、既存のヒンディー語 NER データセットと比較して、バランスとカバー範囲の点でどのように異なるか？
• RQ3 XLM-RoBERTa-large などの最先端の多言語モデルは、HiNER で微調整された場合、ヒンディー語 NER にどの程度一般化できるか？
• RQ4 モデルは HiNER でどのようなエラーを犯し、どのエンティティタイプが認識が特に難しいか？
• RQ5 タグセットを統合することで、全体の F1 スコアは向上するのか？もしそうなら、その程度はどのくらいか？

主な発見

• HiNER には 109,146 文と 2,220,856 トークンが含まれており、11 のエンティティタイプにわたるバランスの取れた分布を示しており、特に Person、Location、Organization で強みを示している。
• XLM-RoBERTa-large を HiNER で微調整した結果、11 のタグすべてで重み付き F1 スコアが 88.78 に達し、小規模またはシルバー標準のデータセットでトレーニングされたモデルを顕著に上回った。
• タグセットをより広いクラスに統合した場合、F1 スコアは 92.22 に向上し、粒度を減らすことで性能向上が見られた。
• 最も挑戦的なエンティティタイプは Literature、Festival、MISC、Language、Religion、Game であり、厳密評価下で F1 スコアが 0.70 未満であった。
• 誤検出エラー（スパイアスエラー）は Person、MISC、Language、Game、TIMEX で最も高く、見逃しエラー（ミスドエラー）は Location、NUMEX、Organization で支配的であった。
• エラー分析から、境界のずれとタイプの誤分類が、特にレアまたは曖昧なエンティティにおいて性能低下の主な原因であることが明らかになった。