[論文レビュー] Entity Linking via Dual and Cross-Attention Encoders

Oshin Agarwal, Daniel M. Bikel|arXiv (Cornell University)|Apr 7, 2020

Topic Modeling参考文献 14被引用数 5

ひとこと要約

本稿では、別名テーブルを必要としない二段階のエンティティリンクフレームワークを提案する。最初の段階では、共通の埋め込み空間内での密なベクトル類似度を用いて、別名なしの候補生成に二重エンコーダーモデルを用い、二番目の段階では、BERTベースのクロスアテンションエンコーダーを用いて再ランク付けを行う。文脈に依存する表現と文書レベルの文脈を活用することで、TACKBP-2010でSOTAの92.05%の正確度を達成し、CoNLL-2003の学習データから強力なゼロショット一般化を実現した。

ABSTRACT

Entity Linking has two main open areas of research: 1) generate candidate entities without using alias tables and 2) generate more contextual representations for both mentions and entities. Recently, a solution has been proposed for the former as a dual-encoder entity retrieval system (Gillick et al., 2019) that learns mention and entity representations in the same space, and performs linking by selecting the nearest entity to the mention in this space. In this work, we use this retrieval system solely for generating candidate entities. We then rerank the entities by using a cross-attention encoder over the target mention and each of the candidate entities. Whereas a dual encoder approach forces all information to be contained in the small, fixed set of vector dimensions used to represent mentions and entities, a crossattention model allows for the use of detailed information (read: features) from the entirety of each tuple. We experiment with features used in the reranker including different ways of incorporating document-level context. We achieve state-of-the-art results on TACKBP-2010 dataset, with 92.05% accuracy. Furthermore, we show how the rescoring model generalizes well when trained on the larger CoNLL-2003 dataset and evaluated on TACKBP-2010.

研究の動機と目的

• 別名テーブルの限界、すなわちバイアス、静的特性、低リソースドメインではしばしば利用できないという問題を解決すること。
• 固定されたベクトル埋め込みを超えて、mentionとエンティティの文脈表現学習を向上させることで、完全な文脈に対する動的アテンションを可能にすること。
• 事前に計算された候補テーブルに依存しない汎用的でエンドツーエンドのエンティティリンクシステムを開発すること。
• 豊富な文脈特徴を用いて、候補エンティティの再ランク付けにクロスアテンションメカニズムの有効性を評価すること。
• CoNLL-2003で学習した再ランカーがTACKBP-2010データセットにゼロショットで一般化できるかどうかを実証すること。

提案手法

• 別名テーブルに依存しない、共通の埋め込み空間内での類似度に基づく二重エンコーダーモデル（DEERに基づく）を用いて、候補エンティティを生成する。
• mention、その文脈、および各候補エンティティの説明に注目するクロスアテンションBERTエンコーダーを用いて、上位k個の候補を再ランク付けする。
• 文書レベルの文脈を再ランカーの入力特徴として取り込み、bag-of-wordsとBERTベースの符号化戦略を用いる。
• CoNLL-2003で再ランカーを学習し、TACKBP-2010で評価することで、ゼロショット一般化をテストする。
• 二段階パイプラインを採用：効率的な検索のための二重エンコーダー、その後に文脈に配慮した曖昧性解消のためのBERTベースの再ランク付け。
• 二重エンコーダーにはGloVe埋め込み、再ランカーにはBERTを用いることで、効率性と表現力のバランスを図る。

実験結果

リサーチクエスチョン

• RQ1 別名テーブルに依存しない二重エンコーダーモデルは、候補エンティティを効果的に生成できるか？
• RQ2 クロスアテンションBERTモデルは、mentionとエンティティの完全な文脈に注目することで、エンティティリンクの正確度を向上させられるか？
• RQ3 文書レベルの文脈は、再ランク付け段階での更げの解消にどの程度効果的か？
• RQ4 より大きなデータセット（CoNLL-2003）で学習した再ランカーは、より小さいが異なるデータセット（TACKBP-2010）にうまく一般化できるか？
• RQ5 固定次元の二重エンコーダー表現に比べて、クロスアテンションメカニズムはどの程度性能を向上させるか？

主な発見

• 提案手法は、TACKBP-2010データセットでSOTAの92.05%の正確度を達成し、先行システムを上回った。
• クロスアテンション再ランカーは、関連する特徴への文脈に依存するアテンションを可能にすることで、二重エンコーダーベースラインよりも顕著に性能を向上させた。
• CoNLL-2003で学習した再ランカーは、ターゲットデータセットで微調整なしにTACKBP-2010にうまく一般化し、高い正確度を達成した。
• 訓練中に不要な位置情報は正しく無視されたことから、強力なアテンション学習が実現したことが示された。
• アブレーションスタディにより、文書レベルの文脈とエンティティの説明が曖昧性解消に有意に寄与することが確認された。
• フレームワークは強力なゼロショット一般化を示し、再トレーニングなしに低リソースドメインへの展開が可能である可能性を示唆した。