[論文レビュー] CrossWeigh: Training Named Entity Tagger from Imperfect Annotations

Zihan Wang, Jingbo Shang+4 more|arXiv (Cornell University)|Sep 3, 2019

Topic Modeling参考文献 21被引用数 6

ひとこと要約

この論文では、ラベルミスの検出と重みの低減を通じて命名エンティティ認識（NER）を向上させる、新しいフレームワークであるCrossWeighを提案する。k-fold交差検証に類似したプロセスを用い、エンティティが重複しない訓練データで誤標記された例を特定し、最終的なモデル学習時にそれらを再重み付けする。CrossWeighはCoNLL03、エマergingエンティティ、低リソースNERベンチマークを含む複数のデータセットでF1スコアを顕著に向上させ、堅牢性と一般化性能を示している。

ABSTRACT

Everyone makes mistakes. So do human annotators when curating labels for named entity recognition (NER). Such label mistakes might hurt model training and interfere model comparison. In this study, we dive deep into one of the widely-adopted NER benchmark datasets, CoNLL03 NER. We are able to identify label mistakes in about 5.38% test sentences, which is a significant ratio considering that the state-of-the-art test F1 score is already around 93%. Therefore, we manually correct these label mistakes and form a cleaner test set. Our re-evaluation of popular models on this corrected test set leads to more accurate assessments, compared to those on the original test set. More importantly, we propose a simple yet effective framework, CrossWeigh, to handle label mistakes during NER model training. Specifically, it partitions the training data into several folds and train independent NER models to identify potential mistakes in each fold. Then it adjusts the weights of training data accordingly to train the final NER model. Extensive experiments demonstrate significant improvements of plugging various NER models into our proposed framework on three datasets. All implementations and corrected test set are available at our Github repo: https://github.com/ZihanWangKi/CrossWeigh.

研究の動機と目的

• 93%に近い最先端のF1スコアを達成しているにもかかわらず、5.38%の文にラベルミスが存在することが判明した、広く使われているCoNLL03 NERテストセットのラベルミスを特定・是正すること。
• 訓練データにおけるラベルエラーがモデル性能や評価の安定性に与える悪影響を軽減すること。
• モデル固有の変更を必要とせず、ラベルミスを検出し、NERモデルの堅牢性を向上させる汎用的で学習可能なフレームワークの開発。
• 修正済みのCoNLL03テストセットの公開を通じて、NER評価のためのよりクリアなベンチマークを確立すること。
• 低リソースおよびエマergingエンティティの設定を含む多様なNER環境において、フレームワークの有効性を実証すること。

提案手法

• 訓練データをk個のフォールド（例：10）に分割し、現在のフォールドに属するエンティティを含む訓練例が、そのフォールドのモデル学習に使用されないようにする。
• 各フォールドの訓練データに対して、そのフォールドに属するエンティティを含むインスタンスを除いて、別個のNERモデルを学習し、潜在的なラベルミスを検出する。
• 残りのデータで学習したモデルを用いて各文をスコア付けする。予測ラベル分布と正解ラベルとの差が顕著に大きい場合、潜在的なミスとしてマークする。
• モデルの予測と正解ラベルの不一致に基づき、誤標記の可能性が高い文に対しては低い訓練重みを割り当てる。
• 個々のインスタンスに特化した重みを用いて、全訓練セットで最終的なNERモデルを学習する。これにより、誤りのあるアノテーションの影響が軽減される。
• 任意のサンプル重みをサポートするNERモデルと互換性があるため、アーキテクチャを問わず広く適用可能である。

実験結果

リサーチクエスチョン

• RQ1 CoNLL03 NERテストセットにはどれほどラベルミスが存在するのか。また、F1スコアがすでに約93%に近い状態でも、その影響はどのようにモデル評価に及ぶのか。
• RQ2 完璧な正解ラベルや外部知識に依存せずに、訓練データ内のラベルミスを体系的に検出できるか。
• RQ3 誤標記の可能性がある訓練インスタンスの重みを低減することで、多様なNERベンチマークで一般化性能が向上し、F1スコアが向上するか。
• RQ4 標準的な学習法や他のエラー検出ベースラインと比較して、提案されたCrossWeighフレームワークは、堅牢性と性能向上の両面で優れているか。
• RQ5 ラベル品質が低い可能性のある低リソースおよびエマergingエンティティのNER設定に対しても、このフレームワークは効果的に適用可能か。

主な発見

• CoNLL03 NERデータセットのテスト文の約5.38%にラベルミスが存在し、高い報告F1スコアにもかかわらず、モデル評価に顕著な影響を与えている。
• 修正済みのテストセットを用いた最先端のNERモデルの再評価により、より正確で安定した性能評価が可能となり、よりクリアなベンチマークの必要性が裏付けられた。
• CrossWeighは、BiLSTM-CRFおよびBERTベースのモデルを含む複数のNERモデルにおいて、CoNLL03データセットで一貫したF1スコアの向上を示しており、堅牢な向上効果を確認した。
• エマergingエンティティおよび低リソースNERデータセットでも、顕著な性能向上が得られており、標準ベンチマークを超えた強力な一般化性能を示している。
• CrossWeighの誤り推定におけるエンティティ非重複フィルタリングステップは極めて重要であり、標準的なk-fold交差検証と比較して明確な性能向上が実証された。
• 実装および修正済みのテストセットは公開されており、再現性と今後のベンチマーク作業を可能にしている。