[論文レビュー] Neural Collective Entity Linking Based on Recurrent Random Walk Network Learning

Mengge Xue, Weiming Cai+5 more|arXiv (Cornell University)|Jun 20, 2019

Topic Modeling被引用数 12

ひとこと要約

本稿では、再帰的ランダムウォーク層を用いて外部知識ベースから得られる情報を活用することで、エンティティの意味的依存関係をモデル化する、エンドツーエンドのニューラル集合的エンティティリンク手法RRWELを提案する。意味的正則化子を統合し、知識グラフに基づく証拠伝播を用いることで、複数のベンチマークで最先端のモデルを上回る性能を示し、外部知識をガイドとして用いることで集合的ディスambイグエーションの精度が向上することを実証した。

ABSTRACT

Benefiting from the excellent ability of neural networks on learning semantic representations, existing studies for entity linking (EL) have resorted to neural networks to exploit both the local mention-to-entity compatibility and the global interdependence between different EL decisions for target entity disambiguation. However, most neural collective EL methods depend entirely upon neural networks to automatically model the semantic dependencies between different EL decisions, which lack of the guidance from external knowledge. In this paper, we propose a novel end-to-end neural network with recurrent random-walk layers for collective EL, which introduces external knowledge to model the semantic interdependence between different EL decisions. Specifically, we first establish a model based on local context features, and then stack random-walk layers to reinforce the evidence for related EL decisions into high-probability decisions, where the semantic interdependence between candidate entities is mainly induced from an external knowledge base. Finally, a semantic regularizer that preserves the collective EL decisions consistency is incorporated into the conventional objective function, so that the external knowledge base can be fully exploited in collective EL decisions. Experimental results and in-depth analysis on various datasets show that our model achieves better performance than other state-of-the-art models. Our code and data are released at \\url{https://github.com/DeepLearnXMU/RRWEL}.

研究の動機と目的

• 神経ネットワークのみに依存して相互依存関係をモデル化する既存のニューラル集合的エンティティリンクモデルの限界を解決すること。
• 外部知識ベース（KB）の意味的性質を統合し、エンティティリンク意思決定間のグローバルな相互依存関係をガイドすること。
• 局所的なメンションからエンティティへの適合度とKBを拡張したグローバルな整合性を組み合わせた、微分可能でエンドツーエンドのフレームワークを開発すること。
• 損失関数に意味的正則化子を組み込むことで、文書内のメンション間での意思決定の一貫性を保つこと。
• 知識ベースに基づく証拠伝播が、再帰的ランダムウォークによってエンティティリンクの正確性を向上させることの有効性を実証すること。

提案手法

• メンションの文脈および候補エンティティからの局所的意味的表現を抽出するためにCNNを用いる。
• 局所特徴を連結した上で線形層を用いて、初期のメンションからエンティティへの適合度スコアを計算する。
• 知識ベースからの意味的類似性に基づき、候補エンティティ間を介して証拠を伝播する再帰的ランダムウォーク層をスタックする。
• 知識ベースのエンティティ間の埋め込み類似度を用いて、遷移行列Tを構築し、ランダムウォークの遷移をガイドする。
• 意思決定の一貫性を強制するために、損失関数に意味的正則化子を組み込む。
• バックプロパゲーションを用いて、局所的適合度とグローバルな整合性の両方を同時に最適化できるように、全モデルをエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 外部知識ベースの意味的性質を用いることで、意思決定間の依存関係をガイドすることで、集合的エンティティリンクの性能が向上するか？
• RQ2 KBから得られる関係性を用いて、再帰的ランダムウォーク機構が候補エンティティ間で証拠を効果的に伝播できるか？
• RQ3 意味的正則化子を組み込むことで、意思決定の一貫性と全体的なリンク性能が向上するか？
• RQ4 提案手法は、最先端のニューラル集合的ELモデルと比較して、正確性および頑健性の面で優れているか？
• RQ5 KBに基づく証拠伝播は、単に神経ネットワークによる相互依存関係のエンドツーエンドモデル化に比べて、どの程度優れているか？

主な発見

• RRWELは、複数のスケーラブルな公開データセットで最先端の性能を達成し、既存のニューラル集合的エンティティリンクモデルを上回った。
• 再帰的ランダムウォークを介した外部知識の統合により、証拠伝播と意思決定の一貫性が顕著に向上した。
• アブレーションスタディの結果、KBに基づく遷移行列Tを用いることで、ランダムまたは非KBベースの遷移よりも高い性能が得られた。
• 意味的正則化子は意思決定の一貫性を効果的に向上させ、F1スコアおよび精度スコアの向上に寄与した。
• モデルは優れた一般化性能を示し、相互依存関係が極めて重要な曖昧なメンションにおいて顕著な向上を示した。
• 定性的分析により、'Bay (horse)' や 'Equine coat color' といったエンティティが、KBに基づく伝播のおかげで高い証拠スコアを獲得していることが確認された。