[論文レビュー] Towards Open-Domain Named Entity Recognition via Neural Correction Models.

Mengdi Zhu, Zheye Deng+4 more|arXiv (Cornell University)|Sep 13, 2019

Topic Modeling参考文献 43被引用数 6

ひとこと要約

本論文では、Wikipediaの要約とニューラル補正モデルを活用して大規模かつ高品質なオープンドメインNERデータセットを構築する半教師付きフレームワーク、AnchorNERを提案する。DocREDを用いて誤って除外されたラベルを補正し、BERTを微調整することで、6つのベンチマークデータセットにおいてSOTA性能を達成した。BERT-baseおよびBERT-largeに対して、相対的な改善率はそれぞれ4.66%および3.07%であった。

ABSTRACT

Named Entity Recognition (NER) plays an important role in a wide range of natural language processing tasks, such as relation extraction, question answering, etc. However, previous studies on NER are limited to a particular genre, using small manually-annotated or large but low-quality datasets. In this work, we propose a semi-supervised annotation framework to make full use of abstracts from Wikipedia and obtain a large and high-quality dataset called AnchorNER. We assume anchored strings in abstracts are named entities and annotate them with entity types mentioned in DBpedia. To improve the coverage, we design a neural correction model trained with a human-annotated NER dataset, DocRED, to correct the false-negative entity labels, and then train a BERT model with the corrected dataset. We evaluate our trained model on six NER datasets and our experimental results show that we have obtained state-of-the-art open-domain performances --- on top of the strong baselines BERT-base and BERT-large, we achieve relative improvements of 4.66% and 3.07% respectively.

研究の動機と目的

• 既存のNERモデルが特定のドメインや低品質なデータセットに制限されているという問題に対処すること。
• 高品質なオープンドメインNERデータを生成するためのスケーラブルな半教師付きアノテーションフレームワークを開発すること。
• 自動アノテーションされたWikipedia要約における誤って除外されたエンティティ予測を補正することで、エンティティラベルのカバレッジを向上させること。
• 補正済みデータセットを用いてBERTベースのモデルを訓練し、オープンドメインNERのSOTA性能を達成すること。

提案手法

• Wikipediaの要約におけるアンカードストリングを名前付きエンティティと仮定し、DBpediaのタイプでラベル付けする。
• 初期アノテーションにおける誤って除外されたエンティティラベルを同定・補正するため、DocREDデータセットでニューラル補正モデルを学習する。
• 補正済みデータセットを用いてBERTモデルをオープンドメインNERのために微調整する。
• Wikipediaからの弱い監視とDocREDからの強い監視を組み合わせることで、ラベル品質とモデルの一般化性能を向上させる。
• 最終的なモデルを6つの多様なNERデータセットで評価し、オープンドメインにおける耐性を評価する。

実験結果

リサーチクエスチョン

• RQ1 半教師付きフレームワークは、Wikipediaの要約から高品質なオープンドメインNERデータを効果的に生成できるか？
• RQ2 ニューラル補正モデルは、弱くアノテートされたデータにおける誤って除外されたエンティティラベルをどれほど効果的に低減できるか？
• RQ3 補正済みデータセットでBERTを微調整することで、オープンドメインNERベンチマークにおける性能がどの程度向上するか？
• RQ4 本手法は、BERT-base や BERT-large といった強力なベースラインと比較して、多様なデータセットでどの程度優れているか？

主な発見

• 提案手法は6つのオープンドメインNERデータセットでSOTA性能を達成し、BERT-baseおよびBERT-largeを上回った。
• BERT-baseおよびBERT-largeに対して、それぞれ4.66%および3.07%の相対的改善が達成され、顕著な向上が示された。
• ニューラル補正モデルは、自動アノテーションされたWikipediaデータにおける誤って除外されたラベルを効果的に低減した。
• 得られたAnchorNERデータセットのおかげで、その規模と高品質さのおかげで、多様なドメインにわたる一般化性能が向上した。
• フレームワークは、Wikipediaからの弱い監視とDocREDからの強い監視を効果的に活用し、モデル性能を向上させた。
• 複数のデータセットにわたり一貫した向上が得られたため、オープンドメイン環境における堅牢性とスケーラビリティが示された。