[論文レビュー] Distant Supervision and Noisy Label Learning for Low Resource Named Entity Recognition: A Study on Hausa and Yor\\`ub\\'a

David Ifeoluwa Adelani, Michael A. Hedderich+3 more|arXiv (Cornell University)|Mar 18, 2020

Topic Modeling被引用数 4

ひとこと要約

この論文は、Hausa語およびYorùbá語という、ラベル付きデータが限られたアフリカ諸語における低リソース Named Entity Recognition (NER) のための遠隔教師あり学習およびノイズ対処技術を調査する。遠隔教師ありラベル（Wikidataと外部の名前リストから取得）とノイズ除去手法を組み合わせることで、モデル性能が2倍以上に向上し、クリーンなデータのみで学習したモデルをも上回ることを示している。一方で、文脈的特徴を備えたBERTモデルは性能が優れているが、低リソース環境下ではノイズラベルに対して極めて感受性が高く、性能に悪影響を及けることが明らかになった。

ABSTRACT

The lack of labeled training data has limited the development of natural language processing tools, such as named entity recognition, for many languages spoken in developing countries. Techniques such as distant and weak supervision can be used to create labeled data in a (semi-) automatic way. Additionally, to alleviate some of the negative effects of the errors in automatic annotation, noise-handling methods can be integrated. Pretrained word embeddings are another key component of most neural named entity classifiers. With the advent of more complex contextual word embeddings, an interesting trade-off between model size and performance arises. While these techniques have been shown to work well in high-resource settings, we want to study how they perform in low-resource scenarios. In this work, we perform named entity recognition for Hausa and Yor\\`ub\\'a, two languages that are widely spoken in several developing countries. We evaluate different embedding approaches and show that distant supervision can be successfully leveraged in a realistic low-resource scenario where it can more than double a classifier's performance.

研究の動機と目的

• Hausa語およびYorùbá語における低リソース NER における遠隔教師あり学習およびノイズ対処手法の有効性を評価すること。
• 単純な単語埋め込みと文脈的単語埋め込みの両方を用いた低リソース環境下でのモデルサイズと性能のトレードオフを調査すること。
• ゴールドスタンダードのトレーニングデータが不足する状況でも、遠隔教師ありデータがNER性能を向上させるかを評価すること。
• 自動的に生成されたラベルのノイズがモデルの汎化性能および性能に与える影響を検討すること。

提案手法

• 遠隔教師あり学習は、Wikidataのエンティティリストおよび手動で整備されたYorùbá語およびナイジェリア人の名前リストを用いて、トレーニングデータを自動的にラベル付けする。
• ノイズ対処手法には、遠隔教師あり学習による誤ったラベルの影響を軽減するためのノイズチャネルモデルと、誤分類のパターンを学習するための誤り行列アーキテクチャが含まれる。
• Bi-LSTMおよびBERTアーキテクチャに基づくニューラル NER モデルは、ゴールドスタンダードデータと遠隔教師ありデータの混合データを用いて学習される。
• 単純な（例：FastText）と文脈的（例：BERT）なアプローチを比較し、モデル性能に与える影響を評価する。
• 性能評価は、Hausa語およびYorùbá語のテストセットにおけるF1スコアを用い、データ量とノイズ対処のアブレーションスタディが実施される。
• 現実的な状況を想定し、クリーンデータを1k、2k、5k、17kトークンの異なる量で変化させながら実験が行われる。

実験結果

リサーチクエスチョン

• RQ1 遠隔教師あり学習は、Hausa語およびYorùbá語の低リソース環境下でNER性能を効果的に向上させることができるか？
• RQ2 異なるノイズ対処手法は、遠隔教師ありラベルに含まれる誤りの悪影響をどのように軽減するか？
• RQ3 単純な単語埋め込みと文脈的単語埋め込みを用いた低リソース NER において、モデルサイズと性能のトレードオフはどのようなものか？
• RQ4 ゴールドスタンダードデータが限られた状況でも、遠隔教師ありデータの統合が性能向上に寄与するか？
• RQ5 BERTモデルは、ラベルノイズに極めて感受性が高いにもかかわらず、遠隔教師ありデータの統合から利益を得られるか？

主な発見

• Hausa語では、ノイズ除去を施した50％の遠隔教師ありデータを用いることで、完全なゴールドスタンダードデータを用いた場合とのF1スコアの差を半分にまで縮小した。ノイズ対処の有効性が示された。
• Yorùbá語では、ノイズ処理を施した遠隔教師ありデータを用いることで、5kのラベル付き例題で学習した場合のF1スコアが、ノイズ除去なしの48％から66％に向上し、17kのゴールドスタンダードトークンで学習したモデルの性能に近づいた。
• 低リソース環境（1kおよび2kのラベル付き例題）では、遠隔教師ありデータを用いることで、Bi-LSTMモデルのF1スコアが2倍以上に向上し、高いデータ効率性が示された。
• BERTモデルはBi-LSTMを上回る性能を示したが、1kのラベル付き例題でのみ学習した場合、F1スコアが約50％低下するという著しい性能低下を示した。これは、ノイズラベルに過剰に適合する過学習の兆候であった。
• 誤り行列アーキテクチャによるノイズ除去は、ノイズチャネル手法を上回ったが、特にデータ量が少ない環境下で顕著であり、ノイズ耐性の観点からアーキテクチャ設計の重要性が示された。
• Wikidataにナイジェリア人の名前リストを追加することで、Yorùbá語のリコールが13ポイント向上した。これは、低リソース環境下でドメイン特化名リストの価値が顕著に高いことを示している。