[論文レビュー] AsNER -- Annotated Dataset and Baseline for Assamese Named Entity recognition

Dhrubajyoti Pathak, Sukumar Nandi+1 more|arXiv (Cornell University)|Jul 7, 2022

Natural Language Processing Techniques被引用数 5

ひとこと要約

本稿では、インドの元首相の演説およびアッサム語の演劇から抽出された約99,000語のトークンを含む、低リソースな名前付きエンティティ認識（NER）データセット「AsNER」を紹介する。このデータセットは、人物、場所、住所のエンティティをラベル付けしている。また、MuRIL埋め込みを用いたベースラインBi-LSTM-CRFモデルを提示し、F1スコア80.69%を達成した。本稿では、データセットおよび最良性能を示したモデルを公開することで、アッサム語における低リソースNLPの発展を促進する。

ABSTRACT

We present the AsNER, a named entity annotation dataset for low resource Assamese language with a baseline Assamese NER model. The dataset contains about 99k tokens comprised of text from the speech of the Prime Minister of India and Assamese play. It also contains person names, location names and addresses. The proposed NER dataset is likely to be a significant resource for deep neural based Assamese language processing. We benchmark the dataset by training NER models and evaluating using state-of-the-art architectures for supervised named entity recognition (NER) such as Fasttext, BERT, XLM-R, FLAIR, MuRIL etc. We implement several baseline approaches with state-of-the-art sequence tagging Bi-LSTM-CRF architecture. The highest F1-score among all baselines achieves an accuracy of 80.69% when using MuRIL as a word embedding method. The annotated dataset and the top performing model are made publicly available.

研究の動機と目的

• 低リソースのインディック言語、特にアッサム語に対して、アノテート済みNERリソースが不足しているという問題に対処すること。
• 話術的および文学的ソースから得た多様なアッサム語テキストを対象とした、高品質かつ多様なデータセットを構築すること。
• 最先端のシーケンスタギングアーキテクチャを用いて、アッサム語NERの強力なベースラインモデルを確立すること。
• データセットおよびトレーニング済みモデルの公開を通じて、アッサム語におけるディープラーニングベースのNLP研究を促進すること。
• 公平な比較が可能なよう、同じデータセット上で複数の事前学習済み言語モデル（例：BERT、XLM-R、MuRIL）をベンチマークすること。

提案手法

• データセットは、インドの元首相のスピーチの音声認識出力およびアッサム語の演劇の台詞から構築され、言語的多様性を確保している。
• 名前付きエンティティは専門家による手動ラベリングにより、3つのクラス（人物、場所、住所）に分類されている。
• NERのベースラインモデルとして、Bi-LSTM-CRFシーケンスタギングアーキテクチャが使用されている。
• 入力表現として、複数の事前学習済みコンテキスト埋め込み（FastText、BERT、XLM-R、FLAIR、MuRIL）が評価されている。
• 標準的なNER指標（正確率、再現率、F1スコア）を用いて、モデルのトレーニングおよび評価が行われている。
• 最良の性能を示したモデルは、MuRIL埋め込みを用い、AsNERデータセット上でファインチューニングされている。

実験結果

リサーチクエスチョン

• RQ1 新しく作成された低リソースなアッサム語NERデータセット上で、最先端のNERモデルの性能はいかほどか？
• RQ2 異なる事前学習済み言語モデルは、アッサム語のNER性能においてどのように比較されるか？
• RQ3 ファインチューニングされたBi-LSTM-CRFモデルは、限られたトレーニングデータのもとで、低リソースNERタスクで強力な性能を発揮できるか？
• RQ4 アーキテクチャと事前学習済み埋め込みの最適な組み合わせは何か？
• RQ5 データセットの品質と多様性は、下流のNER性能にどのように影響するか？

主な発見

• AsNERデータセットには、多様なソースから抽出された約99,000語のトークンが、人物、場所、住所のエンティティとしてラベル付けされている。
• Bi-LSTM-CRFアーキテクチャ内でMuRIL埋め込みを用いた場合、最高のF1スコア80.69%が達成された。
• 評価されたモデルの中で、MuRILはBERT、XLM-R、FLAIR、FastTextを上回る性能を示した。
• データセットおよび最良性能を示したモデルは、今後のアッサム語NLP研究を支援するため、公開されている。
• 本研究では、MuRILのようなコンテキスト埋め込みをファインチューニングすることで、低リソース環境でもNER性能を顕著に向上させられることを示した。
• 結果から、AsNERデータセットが今後のアッサム語NLP研究のベンチマークとしての有効性が裏付けられた。