[論文レビュー] Boosting Entity Linking Performance by Leveraging Unlabeled Documents

Phong Ba Le, Ivan Titov|arXiv (Cornell University)|Jun 4, 2019

Topic Modeling参考文献 24被引用数 7

ひとこと要約

この論文では、Wikipedia とラベルなしドキュメントを活用して、完全に教師ありの最先端システムと同等の性能を達成する弱教師ありエンティティリンクモデルを提案する。Wikipedia のリンク統計を用いて高再現率の候補リストを生成し、それらを弱教師ありとして用いて文書レベルのニューラルモデルを訓練することで、人間によるアノテーションデータを一切使用せずにエンティティの一貫性と局所的文脈の認識を学習する。このアプローチは、先行する Wikipedia に依存する手法を上回り、AIDA CoNLL においてもそのアノテーションを使用しない状態で、教師ありモデルと同等の性能を示した。

ABSTRACT

Modern entity linking systems rely on large collections of documents specifically annotated for the task (e.g., AIDA CoNLL). In contrast, we propose an approach which exploits only naturally occurring information: unlabeled documents and Wikipedia. Our approach consists of two stages. First, we construct a high recall list of candidate entities for each mention in an unlabeled document. Second, we use the candidate lists as weak supervision to constrain our document-level entity linking model. The model treats entities as latent variables and, when estimated on a collection of unlabelled texts, learns to choose entities relying both on local context of each mention and on coherence with other entities in the document. The resulting approach rivals fully-supervised state-of-the-art systems on standard test sets. It also approaches their performance in the very challenging setting: when tested on a test set sampled from the data used to estimate the supervised systems. By comparing to Wikipedia-only training of our model, we demonstrate that modeling unlabeled documents is beneficial.

研究の動機と目的

• 高価な人間によるアノテーション訓練データを必要としないエンティティリンクシステムの開発。
• ラベルなしドキュメントを組み込むことで、Wikipedia に依存するエンティティリンクの性能を向上させること。
• ラベルなしデータ上で文書レベルの整合性モデリングが、完全に教師ありのシステムと同等の性能を達成できることを示すこと。
• Wikipedia とラベルなしテキストからの弱教師ありが、高価な人間アノテーションに代わることの可能性を検証すること。
• 低リソース環境およびドメイン外設定におけるモデルの頑健性を評価すること。

提案手法

• Wikipedia のリンクグラフと頂点を含む部分グラフを用いて、ラベルなしドキュメント内の表記に対する高再現率の候補エンティティリストを構築する。
• Wikipedia のリンクグラフにパラメータフリーのメッセージパッシングモデルを適用し、リンク統計を伝搬させて候補セットを生成する。
• エンティティを潜在変数として扱い、候補リストを弱教師あり制約として用いる文書レベルのニューラルモデルを訓練する。
• 候補リストに整合するエンティティ割り当てを優先するとともに、文書全体におけるエンティティの整合性を高めるようにモデルを最適化する。
• トレーニング中に、各表記の局所的文脈と、文書内他のエンティティとのグローバルな整合性の両方を活用する。
• 局所的文脈と文書レベルのエンティティ整合性を同時にモデル化する微分可能スコア関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 Wikipedia とラベルなしドキュメントで訓練された弱教師ありエンティティリンクモデルが、完全に教師ありモデルと同等の性能を達成できるか？
• RQ2 ラベルなしデータ上で文書レベルの整合性をモデリングすることで、単なる Wikipedia リンク予測を上回る性能向上が達成できるか？
• RQ3 本手法はドメイン外のテストセットにおいてどのように性能を示すか、特に教師ありモデルと同一の分布からのデータに対してテストした場合どうか？
• RQ4 Wikipedia リンクのみを使用する場合と比較して、ラベルなしドキュメントが性能にどれほど寄与しているか？
• RQ5 特定の名前付きエンティティタイプでは、モデルの性能が著しく低くなる場合があり、その理由は何か？

主な発見

• 提案手法は、6つの標準テストセットのうち4つで最高の F1 スコアを達成し、全ベンチマークの平均性能でも最良であった。
• AIDA CoNLL テストセット（以前に完全に教師ありモデルの訓練に使われた）では、93.1% の F1 スコアを達成し、教師ありモデルの報告済みの最良のインハウス性能と同等であった。
• 本手法は、先行する Wikipedia に依存するリンクエンジンおよび、Wikipedia リンクを直接予測するベースラインよりも優れており、文書レベルモデリングの利点を示した。
• PER（人物）タイプでは 97.20% の正答率を達成し、完全に教師ありモデルの 97.73% からわずか 0.53% 低いにとどまった。
• MISC（その他）タイプ、特に国籍と言語（例：'English' が人物か言語かの区別）の区別が最も困難で、正答率は 75.71% にとどまり、教師ありモデルの 83.27% よりも低かった。
• アブレーションスタディにより、局所的文脈モデリングと文書レベルの整合性の両方が不可欠であることが確認され、それぞれが性能向上に顕著な貢献をした。