[論文レビュー] Improving Entity Linking by Modeling Latent Entity Type Information

Shuang Chen, Jinpeng Wang+2 more|arXiv (Cornell University)|Jan 6, 2020

Topic Modeling参考文献 34被引用数 5

ひとこと要約

この論文は、BERTベースのエンティティ埋め込みに潜在的エンティティタイプ情報を統合し、局所的文脈モデルにBERTベースのエンティティ類似度スコアを統合することで、ニューラルエンティティリンクの精度を向上させている。このアプローチによりタイプエラーが顕著に減少し、67.03%のタイプエラーが是正され、AIDA-CoNLLでは1.32%の絶対的F1向上が達成され、5つのオフドメインデータセットでは平均0.80%のF1向上が得られた。

ABSTRACT

Existing state of the art neural entity linking models employ attention-based bag-of-words context model and pre-trained entity embeddings bootstrapped from word embeddings to assess topic level context compatibility. However, the latent entity type information in the immediate context of the mention is neglected, which causes the models often link mentions to incorrect entities with incorrect type. To tackle this problem, we propose to inject latent entity type information into the entity embeddings based on pre-trained BERT. In addition, we integrate a BERT-based entity similarity score into the local context model of a state-of-the-art model to better capture latent entity type information. Our model significantly outperforms the state-of-the-art entity linking models on standard benchmark (AIDA-CoNLL). Detailed experiment analysis demonstrates that our model corrects most of the type errors produced by the direct baseline.

研究の動機と目的

• 最先端のニューラルエンティティリンクモデルが、しばしば誤ったタイプのエンティティにメンションをリンクしてしまうという高いタイプエラー率に対処すること。
• 既存のモデルが、場所タイプを示す前置詞のような即時の文脈から潜在的エンティティタイプの手がかりを捉えられていない理由を調査すること。
• メンションの周辺のBERTエンコードされた文脈から、タイプに敏感な埋め込みを学習することで、エンティティ表現を向上させること。
• 局所的文脈モデルにBERTベースのエンティティ類似度スコアを統合し、タイプ適合性をよりよく捉えること。
• トピックレベルの適合性に依存するのを減らすために、エンティティ表現におけるタイプ認識を強化すること。

提案手法

• 同じエンティティにリンクするすべてのメンションからのBERTエンコード文脈表現を平均化することで、エンティティ埋め込みに潜在的エンティティタイプ情報を統合する。
• メンションを[MASK]に置き換えた即時の文脈を事前学習済みBERTでエンコードし、文法的・意味的ヒントを捉える。
• 平均プーリングを用いて文脈表現を集約し、各エンティティに対して共通のタイプ認識済みのエンティティ埋め込みを形成する。
• 最先端のエンティティリンク・システムの局所的文脈モデルに、BERTベースのエンティティ類似度スコアを統合して、タイプ認識のマッチングを向上させる。
• ドメイン適応のためBERTを微調整し、その事前学習済み表現を文脈およびエンティティ表現の品質向上に活用する。
• 開発セットの性能に基づく早期停止を用い、エンティティタイプのマルチラベルバイナリクロスエントロピー損失でモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 最先端のニューラルエンティティリンクモデルが強力な文脈モデリングを備えているにもかかわらず、なぜ頻繁にタイプエラーを犯すのか？
• RQ2 即時の文脈に埋め込まれた潜在的エンティティタイプ情報は、エンティティリンク精度の向上にどの程度活用可能か？
• RQ3 Bag-of-wordsアテンションモデルと比較して、BERTベースの文脈エンコードはエンティティタイプの手がかりをどのように改善して捉えているか？
• RQ4 BERTベースのエンティティ埋め込みは、よりタイプに敏感な表現を学習することで、タイプ不一致を減少させられるか？
• RQ5 局所的文脈モデルにBERTベースのエンティティ類似度スコアを統合することで、タイプエラーの是正にどの程度効果的か？

主な発見

• 提案手法は、ベースラインと比較して、ドメイン内AIDA-CoNLLテストセットで1.32%の絶対的F1向上を達成した。
• 5回のランで5つのオフドメインテストセット全体で平均0.80%のF1向上が得られた。
• この手法は、最先端のベースラインモデルが生成したタイプエラーの67.03%を是正した。
• 最近接文脈の検索から、モデルの文脈表現が、場所タイプを示す前置詞（例：'In'）のような文法的手がかりを捉えていることが示された。
• 最近接エンティティの検索から、BERTベースの埋め込みがタイプの一貫性を保持していることが確認された。一方、ベースラインの埋め込みは、しばしばトピックは似ているがタイプに適合しないエンティティを検索してしまう。
• 残りのタイプエラーの多くは、事前確率およびグローバルモデリングの制限に起因しており、今後の改善の余地が大きいことが示された。