[論文レビュー] Distantly Supervised Named Entity Recognition using Positive-Unlabeled Learning

Minlong Peng, Xiaoyu Xing+3 more|arXiv (Cornell University)|Jun 4, 2019

Topic Modeling参考文献 39被引用数 13

ひとこと要約

本稿では、ラベルなしテキストとシンプルなエンティティ辞書のみを用いて、名前付きエンティティ認識（NER）における遠隔教師付き学習のためのポジティブ・アンラベルド（PU）学習フレームワークを提案する。NERをPU学習問題として定式化することで、不完全な辞書でさえも、バイアスのない損失推定と、適応的AdaSampling戦略による反復的辞書拡張を通じて、教師ありモデルと同等の頑健な性能を達成する。

ABSTRACT

In this work, we explore the way to perform named entity recognition (NER) using only unlabeled data and named entity dictionaries. To this end, we formulate the task as a positive-unlabeled (PU) learning problem and accordingly propose a novel PU learning algorithm to perform the task. We prove that the proposed algorithm can unbiasedly and consistently estimate the task loss as if there is fully labeled data. A key feature of the proposed method is that it does not require the dictionaries to label every entity within a sentence, and it even does not require the dictionaries to label all of the words constituting an entity. This greatly reduces the requirement on the quality of the dictionaries and makes our method generalize well with quite simple dictionaries. Empirical studies on four public NER datasets demonstrate the effectiveness of our proposed method. We have published the source code at \url{https://github.com/v-mipeng/LexiconNER}.

研究の動機と目的

• 大規模な人工作業によるアノテーションデータが入手できない低リソースNERの課題に対処すること。
• 高カバレッジ・高精度なエンティティ辞書への依存を減らし、不完全な辞書一致からも効果的な学習が可能な仕組みを提供すること。
• 部分的なラベル付けでのポジティブ例に起因するバイアスを考慮し、分類損失を正確に推定できるPU学習手法を開発すること。
• モデルの予測を用いて反復的に辞書を拡張することで一般化性能を向上させ、不完全なカバレッジに起因するバイアスを低減すること。
• 最小限の監視で複数の公開NERベンチマークで本手法の有効性を検証すること。

提案手法

• 名前付きエンティティ辞書に一致する語をポジティブ（P）例とし、他のすべての語をアンラベルド（U）データとみなして、NERをPU学習問題として定式化する。
• 真の分布を反映するラベル付きP例が存在するという仮定の下で、真のリスクを不偏かつ一貫して推定できる、新規のPU学習アルゴリズムを導入する。
• 不完全なポジティブラベル付けによって生じるバイアスを是正するため、再重み付けされた経験的リスク最小化の目的関数を用いる。
• 高信頼度のアンラベルド予測を新規のポジティブ例として選択することで、反復的に辞書を精錬するための適応的AdaSampling戦略を採用する。
• データからポジティブ例の割合（$\pi_p$）を推定し、損失関数のキャリブレーションと推定安定性の向上に活用する。
• フレームワークは、辞書一致を弱い監視信号として用いながら、ラベルなしテキスト上でエンドツーエンドに訓練される。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしテキストとシンプルなエンティティ辞書のみを用いて、PU学習フレームワークが競争力のあるNER性能を達成できるか？
• RQ2 不完全なポジティブラベル付けが存在する状況でも、本手法が真の分類リスクを不偏かつ一貫して推定できるか？
• RQ3 辞書の品質とサイズに応じて性能はどのように変化するか？また、反復的拡張によって性能向上が達成できるか？
• RQ4 本手法は、異なるNERデータセットやエンティティタイプにわたってどれほど一般化できるか？
• RQ5 推定されたポジティブ例の割合（$\pi_p$）の誤差に対して、本手法はどれほど頑健か？

主な発見

• 提案手法は、シンプルな辞書のみを用いてもCoNLL-2003で複数の教師ありモデルと同等のF1スコアを達成する。
• CoNLL (en) テストセットでは、元の辞書を用いた場合83.13%のF1スコアを達成し、拡張された辞書を用いた場合82.94%を達成しており、誤検出の増加にもかかわらず最小限の性能低下が見られた。
• 推定された$\pi_p$を用いたモデルは、真の$\pi_p$を用いたモデルとほぼ同一の性能を示し、推定誤差に対して頑健であることを示した。
• より多くのラベルなしデータが利用可能になるほど性能が向上するが、あるデータサイズを超えると利得が減少し、独自のパターンの発見に飽和していることが示唆された。
• 拡張された辞書はリコールを向上させるが、LOCエンティティの精度は85.07から71.77に低下し、カバレッジと品質のトレードオフを示している。
• 反復的辞書拡張を用いるAdaPUバージョンは、全エンティティタイプで一貫した改善を示しており、適応戦略の有効性を確認した。