[論文レビュー] Automatic Noisy Label Correction for Fine-Grained Entity Typing

Weiran Pan, Wei Wei+1 more|arXiv (Cornell University)|May 6, 2022

Topic Modeling被引用数 5

ひとこと要約

本稿では、モデルのログチットからの事後確率推定を用いて曖昧なラベルを特定し、清浄化されたデータで再訓練することで、階層的タイプ構造や人手によるアノテーションサブセットを必要としない、リソースフリーな自動ノイズラベル補正手法を提案する。2つのベンチマークでFET性能を向上させ、強力なラベル補正により最先端の結果を達成した。

ABSTRACT

Fine-grained entity typing (FET) aims to assign proper semantic types to entity mentions according to their context, which is a fundamental task in various entity-leveraging applications. Current FET systems usually establish on large-scale weakly-supervised/distantly annotation data, which may contain abundant noise and thus severely hinder the performance of the FET task. Although previous studies have made great success in automatically identifying the noisy labels in FET, they usually rely on some auxiliary resources which may be unavailable in real-world applications (e.g. pre-defined hierarchical type structures, human-annotated subsets). In this paper, we propose a novel approach to automatically correct noisy labels for FET without external resources. Specifically, it first identifies the potentially noisy labels by estimating the posterior probability of a label being positive or negative according to the logits output by the model, and then relabel candidate noisy labels by training a robust model over the remaining clean labels. Experiments on two popular benchmarks prove the effectiveness of our method. Our source code can be obtained from https://github.com/CCIIPLab/DenoiseFET.

研究の動機と目的

• 細粒度エンティティタイプ分類（FET）におけるノイズラベルの問題に取り組み、モデル性能に顕著な悪影響を及える要因を解消すること。
• 階層的タイプ構造や手動でラベル付けされたサブセットといった補助リソースに依存せずに、ノイズラベルを補正する手法を開発すること。
• モデルの不確実性を引き起こす「曖昧ラベル」を特定することで、元のアノテーションと推定された事後確率との間に乖離が生じるラベルを特定すること。
• ノイズラベルの検出と清浄化データでの再訓練という二段階のプロセスにより、FETモデルのロバスト性と性能を向上させること。
• Ultra-Fine や OntoNotes のような広く使われるFETベンチマークで、本手法の有効性を検証すること。

提案手法

• 事前学習済みFETモデルのログチットを用いて、ラベルが陽性または陰性である事後確率を推定し、陽性ラベルと陰性ラベルの両方に2つの正規分布をフィットさせる。
• 元のアノテーションと推定された事後確率との間に整合性が低いラベル（低一致度）をノイズラベルとして特定する。
• 特定されたノイズラベルをラベルなしデータとして扱い、残りの清浄ラベルに対して準教師あり学習戦略を用いてモデルを再訓練する。
• 再訓練段階で再ラベル付けされたノイズラベルに対して、予測を自信を持って行うよう促すためにエントロピー正則化を組み込む。
• 大規模FETデータセットでは多重ラウンドのトレーニングが現実的でないため、単一パスで反復的に適用する。
• 長尾型タイプ分布において尤度推定を歪める可能性がある顕著なノイズラベル（外れ値）を除去するためのフィルタリングステップを含む。

実験結果

リサーチクエスチョン

• RQ1 階層的タイプ構造や人手によるアノテーションサブセットといった外部リソースに依存せずに、細粒度エンティティタイプ分類におけるノイズラベルを補正できるか。
• RQ2 モデルの不確実性を引き起こす「曖昧ラベル」を効果的に特定し、清浄ラベルから分離できるか。
• RQ3 ノイズラベルの補正が、標準的なベンチマークにおけるFETモデル性能にどの程度向上効果をもたらすか。
• RQ4 既存のノイズ除去手法と比較して、本手法のロバスト性と一般化性能はどの程度優れているか。
• RQ5 極端な外れ値のフィルタリングとエントロピー正則化を適用することで、ラベル補正の有効性にどのような影響を与えるか。

主な発見

• 明らかなノイズラベルをフィルタリングしない状態でUltra-Fineデータセットでマクロ平均F1が0.5%向上した。これは、長尾設定において外れ値除去の重要性を示している。
• エントロピー正則化は、すべてのデータセットで性能向上をもたらした。これは、再ラベル付けされたデータに対する準教師あり再訓練が、モデルの一般化性能を向上させることを示している。
• 元のノイズラベルを用いて学習したベースラインモデルと比較して、本手法は性能が優れており、ノイズ補正後のmention埋め込みのT-SNE可視化では、より明確な分離境界が観察された。
• 事例研究では、本手法が欠落していた細粒度タイプを回復させ、誤検出ラベルを除去し、より正確で包括的なタイプセットを生成できることを示した。
• アブレーションスタディにより、外れ値フィルタリングとエントロピー正則化の両方が、特に長尾型タイプ分布を示すデータセットにおいて最適な性能を達成するために不可欠であることが確認された。
• 本手法は、Ultra-FineおよびOntoNotesの両ベンチマークで最先端の結果を達成し、外部リソースを一切用いずに有効性と一般化能力を示した。