[論文レビュー] Learning to Denoise Distantly-Labeled Data for Entity Typing

Yasumasa Onoe, Greg Durrett|arXiv (Cornell University)|May 4, 2019

Topic Modeling参考文献 31被引用数 4

ひとこと要約

本稿では、超微細エンティティタイプ分類における遠隔ラベル付きデータに対して、使用不能とされる例を除外する学習済みフィルタリング関数と、ノイズの多いラベルを修正する再ラベル化関数を用いる二段階のノイズ除去フレームワークを提案する。合成ノイズを含むデータで訓練された本手法は、ELMoベースのベースラインより3 F1向上し、最先端の性能を達成しており、生の遠隔データやヒューリスティックなノイズ除去手法を上回っている。

ABSTRACT

Distantly-labeled data can be used to scale up training of statistical models, but it is typically noisy and that noise can vary with the distant labeling technique. In this work, we propose a two-stage procedure for handling this type of data: denoise it with a learned model, then train our final model on clean and denoised distant data with standard supervised training. Our denoising approach consists of two parts. First, a filtering function discards examples from the distantly labeled data that are wholly unusable. Second, a relabeling function repairs noisy labels for the retained examples. Each of these components is a model trained on synthetically-noised examples generated from a small manually-labeled set. We investigate this approach on the ultra-fine entity typing task of Choi et al. (2018). Our baseline model is an extension of their model with pre-trained ELMo representations, which already achieves state-of-the-art performance. Adding distant data that has been denoised with our learned models gives further performance gains over this base model, outperforming models trained on raw distant data or heuristically-denoised distant data.

研究の動機と目的

• 遠隔教師付きエンティティタイプ分類におけるノイズの多いラベルの課題に対処すること。具体的には、エンティティリンキングやヘッドワードといった遠隔教師付きソースが、一貫性のないまたは不完全なラベルをもたらすこと。
• 最終モデルの学習パイプラインを変更せずに、ノイズの多い遠隔データを高品質な学習例に変換することで、モデル性能を向上させること。
• 入力とノイズの多いラベルの両方に条件づけられた、微分可能でエンドツーエンドのノイズ除去アプローチを開発し、ラベル空間の構造学習を可能にすること。
• Choiら（2018）が提示した超微細エンティティタイプ分類ベンチマーク上で評価すること。このベンチマークは、3つの粒度レベルにわたり10,000以上のラベルタイプを含む。
• 学習済みノイズ除去が元のラベルセットを超えて一般化可能であることを示し、ラベルがOntoNotesスキーマに投影された場合でも性能向上を示すこと。

提案手法

• フィルタリング関数は、少量の手動ラベル付きデータに合成ノイズを注入することで、ノイズが多すぎたり信頼性が低すぎる例を特定・除外するように訓練される。
• 再ラベル化関数は、エンティティとラベルの共同埋め込みを活用することで、ノイズの多いラベルを人間アノテーターに類似した正確なラベルに変換する。
• 両関数は、合成ノイズ付き例を用いた条件付きノイズ除去オートエナコーダーに類似した目的関数で訓練され、ノイズありから真のラベルへのマッピングの補正を学習可能となる。
• ノイズ除去モデルは、最終的なエンティティタイプ分類モデルのアーキテクチャを模倣しており、入力およびラベル表現にELMo埋め込みを用いる。
• 最終モデルは、手動ラベル付きデータとノイズ除去済み遠隔データの組み合わせを用いて、学習手順に変更を加えずに通常の教師あり学習で訓練される。
• 本手法は、エンティティリンキング（EL）とヘッドワードヒューリスティクス（HEAD）という2つの遠隔教師付きソースを用いて、Choiら（2018）の超微細エンティティタイプ分類データセット上で評価される。

実験結果

リサーチクエスチョン

• RQ1 学習済みノイズ除去モデルは、遠隔ラベル付きデータに適用することで、超微細エンティティタイプ分類の性能を向上させることができるか？
• RQ2 ノイズ除去済み遠隔データで訓練されたモデルの性能は、生の遠隔データやヒューリスティックにノイズ除去されたデータで訓練されたモデルと比べてどの程度優れているか？
• RQ3 ノイズ除去プロセスは、特に超微細タイプの欠落や誤ったラベルをどの程度回復できるか？
• RQ4 ノイズ除去フレームワークは、OntoNotesスキーマのような異なるラベルスキーマに対しても一般化可能か？
• RQ5 フィルタリングおよび再ラベル化関数は、ノイズの多いラベルを効果的に特定・修正し、有用な例を損なわずに保持できるか？

主な発見

• 提案されたノイズ除去フレームワークは、ELMoベースのベースラインモデルに対して3.0 F1の絶対的向上を達成し、超微細エンティティタイプ分類ベンチマークで新たな最先端性能を確立した。
• 生の遠隔データで直接学習する手法と比較して、本手法は4.4 F1の向上を示し、遠隔教師付き学習を効果的に活用するにはノイズ除去が不可欠であることを示している。
• 再ラベル化関数は、EL例あたり平均で2.03の超微細タイプを追加し、HEAD例あたり1.15の超微細タイプを追加しており、顕著に欠落していた細粒度および超微細ラベルを回復している。
• フィルタリング関数は、EL例の9.4%とHEAD例の10.0%を除外しており、遠隔データの顕著な割合が有用でないと判断されたことを示している。
• ラベルをOntoNotesスキーマに投影した場合でも、ノイズ除去済みデータは性能を向上させ、この設定でChoiら（2018）の元の手法を上回った。
• エンドツーエンドで学習されたノイズ除去は、合成ノイズで訓練されたことから、このタスクにおいてヒューリスティックベースのフィルタリングや再ラベル化よりも一般化性能が優れていることが示された。