[論文レビュー] Distant Supervision and Noisy Label Learning for Low Resource Named Entity Recognition: A Study on Hausa and Yorùbá

David Ifeoluwa Adelani, Michael A. Hedderich+3 more|arXiv (Cornell University)|Mar 18, 2020

Topic Modeling参考文献 39被引用数 4

ひとこと要約

この論文は、Hausa語およびYorùbá語という、ラベル付きデータが限られるアフリカ諸語における低リソース Named Entity Recognition (NER) のための遠隔教師あり学習およびノイズ対処技術を調査している。Wikidataと外部の名前リストからの遠隔教師ありラベルと、ノイズ補正手法を組み合わせることで、著者らは低リソース設定においてモデル性能を2倍以上に向上させることを示している。Bi-LSTMモデルは、遠隔教師あり学習とノイズ処理を組み合わせることで、1,000語のラベル付きトークンのみを用いてYorùbá語で最大66のF1スコアを達成した。

ABSTRACT

The lack of labeled training data has limited the development of natural language processing tools, such as named entity recognition, for many languages spoken in developing countries. Techniques such as distant and weak supervision can be used to create labeled data in a (semi-) automatic way. Additionally, to alleviate some of the negative effects of the errors in automatic annotation, noise-handling methods can be integrated. Pretrained word embeddings are another key component of most neural named entity classifiers. With the advent of more complex contextual word embeddings, an interesting trade-off between model size and performance arises. While these techniques have been shown to work well in high-resource settings, we want to study how they perform in low-resource scenarios. In this work, we perform named entity recognition for Hausa and Yorùbá, two languages that are widely spoken in several developing countries. We evaluate different embedding approaches and show that distant supervision can be successfully leveraged in a realistic low-resource scenario where it can more than double a classifier's performance.

研究の動機と目的

• Hausa語およびYorùbá語のような低リソースのアフリカ諸語におけるNERに、遠隔教師あり学習およびノイズ対処手法の有効性を評価すること。
• 単純な単語埋め込み（例：Bi-LSTM）と文脈を考慮した埋め込み（例：BERT）を比較した場合、低リソース設定におけるモデルサイズと性能のトレードオフを調査すること。
• ゴールドスタンダードのラベル付きデータが不足する状況において、遠隔教師あり学習データがモデル性能を顕著に向上させるかどうかを評価すること。
• 外部知識源（例：Wikidata、Yorùbá語およびナイジェリアの名前リスト）の統合がNER性能に与える影響を検討すること。

提案手法

• 遠隔教師あり学習は、テキストとWikidata間のエンティティマッチング、およびYorùbá語の人物名とナイジェリアの名前を手動で整備したリストとのルールベースマッチングを用いて実施された。
• 遠隔教師ありラベルに含まれる誤りを軽減するために、ノイズ処理手法が適用され、ノイズチャネルおよび誤り行列アーキテクチャが含まれる。
• 2種類のモデルアーキテクチャを比較した：単純な単語埋め込みを用いたBi-LSTMと、文脈を考慮した埋め込みを用いたBERT。
• 低リソーススケーラビリティを評価するために、ゴールドスタンダードのラベル付きデータ量を1,000語、2,000語、5,000語、17,000語に変化させた。
• 外部知識源（例：Wikidata、ドメイン固有の名前リスト）を用いて弱教師あり学習データを生成した。
• Hausa語およびYorùbá語のテストセットにおける標準的なNER指標（精度、再現率、F1スコア）を用いて性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 Hausa語およびYorùbá語の低リソース設定において、遠隔教師あり学習がNER性能を効果的に向上させることができるか？
• RQ2 ノイズ処理手法（例：ノイズチャネル、誤り行列）は、遠隔教師ありラベルに含まれる誤りの影響をどのように軽減するか？
• RQ3 低リソースNERにおいて、単純なBi-LSTMモデルと大規模な文脈を考慮したBERTモデルを比較した場合、モデルサイズと性能のトレードオフはどのようなものか？
• RQ4 Wikidataや手動で整備した名前リストのような外部知識源は、遠隔教師あり学習データのカバレッジと品質をどの程度向上させるか？
• RQ5 ゴールドスタンダードデータが十分にある状況において、遠隔教師あり学習データの統合が、特にBERTのような複雑なモデルの性能を劣化させるか？

主な発見

• Wikidataと外部の名前リストを用いた遠隔教師あり学習により、低リソース設定におけるNER性能が2倍以上に向上し、Yorùbá語ではラベル付きトークンが1,000語のみの状況でF1スコアが約30から約66に上昇した。
• ナイジェリアの名前リストの統合により、Wikidataのみを用いた場合と比較して再現率が13ポイント向上し、人物名のカバレッジが顕著に向上した。
• 誤り行列アーキテクチャのようなノイズ処理手法は、特にデータ量が少ない状況で性能向上をもたらしたが、ノイズチャネルは限定的な効果にとどまった。
• 遠隔教師あり学習データとノイズ処理を組み合わせたBi-LSTMモデルは、ラベル付きトークンが1,000語の状況でYorùbá語でF1スコア66を達成し、17,000語のゴールドスタンダードデータで学習したモデルに近い性能を示した。
• 大規模なモデルであるにもかかわらず、1,000語のラベル付き例で学習したBERTは、ノイズの多い遠隔教師ありラベルに過学習する傾向にあり、低データ環境では性能が劣化した。
• モデルサイズと性能のトレードオフは明確である：BERT（1.10億パラメータ）は高リソース環境ではBi-LSTM（150万パラメータ）を上回るが、低リソース状況ではより小さなモデルが遠隔教師あり学習データの恩恵をより大きく受けている。