[論文レビュー] Improving Distantly-Supervised Named Entity Recognition with Self-Collaborative Denoising Learning

Xinghua Zhang, Bowen Yu+5 more|arXiv (Cornell University)|Oct 9, 2021

Text and Document Classification Technologies被引用数 5

ひとこと要約

本稿では、自己協調的ノイズ除去学習（SCDL）と呼ばれる、遠隔教師あり命名エンティティ認識（DS-NER）のための新しいフレームワークを提案する。このフレームワークは、2つの教師-生徒ネットワークを同時に学習させ、ノイズの多いラベルを繰り返し精錬する。各ネットワーク内での自己ノイズ除去と、ネットワーク間での協調的ノイズ除去を組み合わせることで、仮定を必要とせずに不完全で不正確なラベルを効果的に処理し、5つの実世界のデータセットで最先端の性能を達成した。

ABSTRACT

Distantly supervised named entity recognition (DS-NER) efficiently reduces labor costs but meanwhile intrinsically suffers from the label noise due to the strong assumption of distant supervision. Typically, the wrongly labeled instances comprise numbers of incomplete and inaccurate annotation noise, while most prior denoising works are only concerned with one kind of noise and fail to fully explore useful information in the whole training set. To address this issue, we propose a robust learning paradigm named Self-Collaborative Denoising Learning (SCDL), which jointly trains two teacher-student networks in a mutually-beneficial manner to iteratively perform noisy label refinery. Each network is designed to exploit reliable labels via self denoising, and two networks communicate with each other to explore unreliable annotations by collaborative denoising. Extensive experimental results on five real-world datasets demonstrate that SCDL is superior to state-of-the-art DS-NER denoising methods.

研究の動機と目的

• 遠隔教師あり命名エンティティ認識（DS-NER）における不完全で不正確なラベルノイズの二重の課題に対処すること。
• ラベル品質に関する強い仮定に依存せずに、誤標記データを完全に活用するノイズ除去フレームワークを開発すること。
• 自己ノイズ除去と協調学習を通じて、相互に改善を図ることで、頑健なラベル精錬を実現すること。
• 現実的なノイズ条件下で、既存の最先端のノイズ除去手法を上回ること。

提案手法

• SCDLは、2つの教師-生徒ネットワークを共同訓練の枠組みで学習させ、各ネットワークが教師の高信頼度で一貫した予測を利用して、生徒を訓練する自己ノイズ除去を実行する。
• 各ネットワークは、学生の再訓練されたパラメータに基づいて教師モデルを徐々に更新するための指数移動平均（EMA）を用いる。これにより、学習プロセスが安定化される。
• 外側のループでは、一方のネットワークの教師から得られる高品質な仮ラベルを用いて、他方のネットワークの訓練データ内のノイズの多いラベルを精錬することで、協調的ノイズ除去が可能になる。
• 内側と外側のループが交互に繰り返され、自己ノイズ除去によりより良い仮ラベルが生成され、協調的ノイズ除去によりラベル品質がフィードバックループで向上する。
• 2つのネットワークの異なるノイズ感受性を活用することで、自己学習法にありがちな確認バイアスを回避し、耐性を高める。
• バックプロパゲーションは2つの学生モデルにのみ適用され、2つの教師は前方伝搬のみで計算され、EMAによって更新されるため、計算コストの増加を抑える。

実験結果

リサーチクエスチョン

• RQ1 自己協調的学習フレームワークは、事前の仮定なしに、DS-NERにおける不完全で不正確なラベルノイズの両方を効果的に処理できるか？
• RQ2 2つの教師-生徒ネットワークの共同訓練は、自己学習や単一ネットワークのノイズ除去と比べて、ラベル精錬をどのように改善するか？
• RQ3 SCDLは、誤標記データをどの程度活用してモデルの一般化性能とテスト性能を向上させられるか？
• RQ4 さまざまなノイズ比の条件下で、SCDLは最先端のノイズ除去ベースラインと比べてどのように差をつけるか？

主な発見

• CoNLL03データセットでは、SCDLがノイズの多い初期ラベルのF1スコア70.97から、81.22まで向上させた。
• Twitterデータセットでは、ラベル精錬後にF1スコアが37.73から50.82に向上し、BOND（42.27）を上回った。
• 80％までの高いノイズ比でも、SCDLは強い性能を維持し、他のモデルが劣化する状況でも頑健であることを示した。
• フレームワークは優れた一般化性能を示し、評価された5つの実世界のDS-NERデータセットすべてで、BONDや他のベースラインを上回った。
• 効率性分析により、SCDLの学習速度は高速（Tesla T4で1.5バッチ/秒）であり、テスト時の推論も単一モデルの推論と同等に効率的であることが確認された。
• 事例研究により、SCDLは不完全なラベル（例：'Abyss DeJesus'）と不正確なラベル（例：'St. Christopher Children’s Hospital'）の両方を正しく修正できることを確認し、二重のノイズ除去能力を裏付けた。