[論文レビュー] Neural Networks Models for Entity Discovery and Linking

Dan Liu, Wei Lin+3 more|arXiv (Cornell University)|Nov 11, 2016

Topic Modeling参考文献 7被引用数 16

ひとこと要約

本論文は、2016年TAC KBP三か国語エンティティ検出およびリンク（EDL）タスクのためのUSTC_NELSLIPシステムを提示する。条件付きRNN言語モデルとアテンションベースのエンコーダデコーダを用いて共同でメンション検出を実行し、ニューラルランク付けモデルを用いてエンティティリンクを実施し、ルールベースのNILクラスタリングを適用している。最良のシステムは、typed_mention_ceaf_plus指標でF1スコア0.624を達成し、英語、中国語、スペイン語の3言語において優れた性能を示した。

ABSTRACT

This paper describes the USTC_NELSLIP systems submitted to the Trilingual Entity Detection and Linking (EDL) track in 2016 TAC Knowledge Base Population (KBP) contests. We have built two systems for entity discovery and mention detection (MD): one uses the conditional RNNLM and the other one uses the attention-based encoder-decoder framework. The entity linking (EL) system consists of two modules: a rule based candidate generation and a neural networks probability ranking model. Moreover, some simple string matching rules are used for NIL clustering. At the end, our best system has achieved an F1 score of 0.624 in the end-to-end typed mention ceaf plus metric.

研究の動機と目的

• TAC KBP 2016 EDLタスクにおいて、英語、中国語、スペイン語の3言語にまたがる名前付きおよび名義的メンションの共同検出とリンクの課題に取り組むこと。
• ニューラルシーケンスモデルを用いて長期間の依存関係とネストされたエンティティ構造をモデル化することで、メンション検出の性能を向上させること。
• 手作業で作成した特徴量を用いてトレーニングされたニューラルランク付けモデルと、ルールベースのNILクラスタリング戦略を用いて、エンティティリンクの性能を向上させること。
• 評価ウィンドウの制約内で90,000ドキュメントを処理できる、効率的でエンドツーエンドのシステムを開発すること。

提案手法

• メンション検出におけるシーケンスラベル付けに、条件付きRNN言語モデル（RNN-LM）を用い、入力符号化に1次元畳み込みニューラルネットワーク（1D-CNN）と、自己回帰的タグ予測にGRUを組み合わせた。
• ネストされたメンションを検出するために、木構造のエンティティ表現をシーケンスに線形化したアテンションベースのエンコーダデコーダモデルを適用した。
• エンティティリンクのため、手作業で作成した特徴量（メンション文字列の類似度、表面形の一致、知識ベース統計など）を用いて、フィードフォワードニューラルネットワークで候補エンティティをランク付けした。
• ルールベースのNILクラスタリング戦略により、同一（大文字小文字を区別しない）のメンション文字列をグループ化し、名前付きメンションと同じタイプの最近接の名前付きメンションに名義的NILメンションをリンクさせた。
• システムアンサンブルは、2つのメンション検出モデル（RNN-LMとアテンションベースのエンコーダデコーダ）の結果を統合し、リコールを向上させつつ高い精度を維持した。
• ニューラルランク付けモデルは、EDL2015データセットを用いてミニバッチAdaDeltaでトレーニングされ、隠れ層が2層（512および256ユニット）で、シグモイド活性化関数を用いた。

実験結果

リサーチクエスチョン

• RQ1 条件付きRNN言語モデルは、多言語エンティティ検出およびリンクにおけるメンション検出において、長期依存関係を効果的にモデル化できるか？
• RQ2 アテンションベースのエンコーダデコーダフレームワークは、KBPタスクにおいて、従来のCRFベースのモデルと比較して、ネストされたエンティティ構造をより効果的に処理できるか？
• RQ3 手作業で作成した特徴量を用いたニューラルランク付けモデルは、複数言語にまたがるエンティティリンクにおいて、従来のヒューリスティック手法を上回る性能を示すか？
• RQ4 中国語やスペイン語のような低リソース言語において、シンプルなルールベースの文字列マッチングアプローチは、NILメンションのクラスタリングに有効か？
• RQ5 複数のメンション検出モデルのアンサンブル学習は、エンドツーエンドのエンティティ検出およびリンクにおける全体のF1スコアを向上させることができるか？

主な発見

• 条件付きRNN-LMとアテンションベースのエンコーダデコーダモデルのアンサンブルは、エンティティ発見において最高のF1スコア0.759を達成し、個々のモデルを上回った。
• エンティティリンクシステムは、typed_mention_ceaf_plus指標でF1スコア0.624を達成した。英語が最も良く（F1=0.642）、次にスペイン語（F1=0.585）、中国語（F1=0.636）の順であった。
• 条件付きRNN-LMモデルは、精度0.850、リコール0.678を達成し、高い精度を示したが、リコールは最適でなかった。
• アテンションベースのエンコーダデコーダモデルは、精度0.836、リコール0.681を達成し、RNN-LMモデルと同等の性能を示した。
• 5つのニューラルランク付けモデルのアンサンブルは、エンティティリンクにおいてわずかだが測定可能な性能向上をもたらした。
• 文字列マッチングを用いたルールベースのNILクラスタリングは、より単純な手法と比較して改善を示さなかった。これは、この設定では文字列レベルの類似度がNILクラスタリングに十分であることを示唆している。