[論文レビュー] Improving Named Entity Recognition by External Context Retrieving and Cooperative Learning

Xinyu Wang, Yong Jiang+5 more|arXiv (Cornell University)|May 8, 2021

Topic Modeling参考文献 48被引用数 9

ひとこと要約

本論文は、検索エンジンを介して外部の文脈テキストを取得し、検索ベースのビューとして入力に統合することで、名前付きエンティティ認識（NER）を向上させる手法を提案する。オリジナルの入力ビューと検索強化ビューの間で表現と予測を一致させるための協調学習（Cooperative Learning）を用いることで、5つのドメインにまたがる8つのNERデータセットにおいて最先端の性能を達成し、文書レベルの文脈が利用できない低リソース環境でも顕著に精度が向上する。

ABSTRACT

Recent advances in Named Entity Recognition (NER) show that document-level contexts can significantly improve model performance. In many application scenarios, however, such contexts are not available. In this paper, we propose to find external contexts of a sentence by retrieving and selecting a set of semantically relevant texts through a search engine, with the original sentence as the query. We find empirically that the contextual representations computed on the retrieval-based input view, constructed through the concatenation of a sentence and its external contexts, can achieve significantly improved performance compared to the original input view based only on the sentence. Furthermore, we can improve the model performance of both input views by Cooperative Learning, a training method that encourages the two input views to produce similar contextual representations or output label distributions. Experiments show that our approach can achieve new state-of-the-art performance on 8 NER data sets across 5 domains.

研究の動機と目的

• 文書レベルの文脈が利用できない低文脈状況におけるNERモデルの性能向上を目的とする。
• 検索エンジンからの外部知識を活用し、より良い名前付きエンティティの解釈に役立てる入力表現を強化することを目的とする。
• オリジナル入力ビューと検索ベース入力ビューの両方を同時に強化する統合型の学習フレームワークの構築を目的とする。
• 協調学習を用いて未ラベルデータを活用することで、半教師あり学習を可能とすることを目的とする。
• 複数のドメインにまたがる多様なNERベンチマークで、既存の最先端モデルを上回ることを目的とする。

提案手法

• 入力文をクエリとして用い、検索エンジンからk件の関連するテキストを取得する。
• BERTScoreを用いて再順序付けを行い、意味的に最も関連性の高いl件のテキストを外部文脈として選択する。
• 入力文と上位l件の取得済みテキストを連結することで、検索ベースの入力ビューを構築する。
• オリジナル入力ビュー（外部文脈なし）と検索ベース入力ビューの両方で、統合型モデルを学習する。
• 協調学習（CL）を適用し、2つのビュー間のトークン表現のL2距離またはラベル予測分布のKLダイバージェンスを最小化する。
• 序列ラベル付けに適したトランスフォーマー基盤のモデルにCRF層を追加し、NLL損失とCL損失を同時に最適化する。

実験結果

リサーチクエスチョン

• RQ1 文書レベルの文脈が欠落している状況でも、検索エンジンで取得した外部文脈がNER性能を顕著に向上させるか？
• RQ2 協調学習がオリジナル入力ビューと検索ベース入力ビュー間の予測と表現をどの程度効果的に一致させるか？
• RQ3 提案手法が多様なドメインに一般化可能であり、複数のNERベンチマークで最先端の結果を達成できるか？
• RQ4 協調学習を介して未ラベルデータを活用することで、半教師あり学習環境下でのモデル性能がさらに向上するか？
• RQ5 再順序付け手法（例：BERTScore）の選択が、取得された文脈の品質および下流のNER精度にどのように影響するか？

主な発見

• 入力文と意味的に関連性の高い外部テキストを組み合わせた検索ベース入力ビューは、オリジナル入力ビューのみに比べてNER性能が顕著に向上する。
• L2距離またはKLダイバージェンスの制約を用いた協調学習により、オリジナル入力ビューと検索ベース入力ビューの両方の性能が同時に向上する。
• 提案手法は、ソーシャルメディア、電子商取引、ニュースなど5つの異なるドメインにまたがる8つのNERデータセットで、新たな最先端の結果を達成した。
• モデルは特に文書レベルの文脈が欠落している低文脈状況でも、優れた汎化性能と頑健性を示した。
• 協調学習を介して未ラベルデータを活用した半教師あり学習により、さらに性能が向上し、スケーラビリティと適応性の高さが示された。
• BERTScoreを用いた再順序付けは、他のスコア関数に比べて高品質な外部文脈の選択に優れており、より良い文脈表現をもたらした。