[論文レビュー] Neural Collective Entity Linking

Yixin Cao, Lei Hou+2 more|arXiv (Cornell University)|Nov 21, 2018

Topic Modeling参考文献 34被引用数 61

ひとこと要約

NCELは、注意機構を備えたサブグラフ上のグラフ畳み込みネットワークを用いたニューラル的集合エンティティリンキングモデルを開発し、Wikipediaのハイパーリンクで訓練され、5つのベンチマーク全体で強力な一般化を達成する。

ABSTRACT

Entity Linking aims to link entity mentions in texts to knowledge bases, and neural models have achieved recent success in this task. However, most existing methods rely on local contexts to resolve entities independently, which may usually fail due to the data sparsity of local information. To address this issue, we propose a novel neural model for collective entity linking, named as NCEL. NCEL applies Graph Convolutional Network to integrate both local contextual features and global coherence information for entity linking. To improve the computation efficiency, we approximately perform graph convolution on a subgraph of adjacent entity mentions instead of those in the entire text. We further introduce an attention scheme to improve the robustness of NCEL to data noise and train the model on Wikipedia hyperlinks to avoid overfitting and domain bias. In experiments, we evaluate NCEL on five publicly available datasets to verify the linking performance as well as generalization ability. We also conduct an extensive analysis of time complexity, the impact of key modules, and qualitative results, which demonstrate the effectiveness and efficiency of our proposed method.

研究の動機と目的

• 局所的文脈のスパース性を克服するための集合的エンティティリンキングの必要性を動機づける。
• 局所的文脈特徴とグローバル一貫性をサブグラフGCNを通じて結合するニューラルモデルを提案する。
• 候補特徴、サブグラフ構造、および注意機構を統合することでエンドツーエンドの訓練を可能にする。
• 全グラフではなく隣接メンションのサブグラフ上でグラフ畳み込みを実行することにより効率を向上させる。

提案手法

• Wikipedia、ウェブコーパス、YAGOから得られる事前情報ベースの辞書を用いて、各メンションの候補エンティティを生成する。
• 局所特徴（文字列類似性、注意機構を用いた結合埋め込みによる適合性）とグローバル特徴（隣接メンションの適合性とサブグラフ構造）を抽出する。
• 単語/メンションとエンティティの意味認識を考慮した表現を持つ結合埋め込み空間でメンションと候補を表現する。
• 多層エンコーダを用い、その後、隣接メンションの切り詰められたサブグラフ上で動作するサブグラフ畳み込みネットワークと、候補確率を予測するデコーダを用いる。
• 文書全体で、予測された候補と正解候補とのクロスエントロピーを最小化することでエンドツーエンドに訓練する。
• 注意機構を用いて候補の適合性に寄与する文脈語句を重み付けし、ノイズに対する頑健性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 NCELは多様なデータセットにおいて、最先端の局所モデルおよびグローバルモデルよりもリンク精度を達成するか？
• RQ2 全グラフ計算なしに、サブグラフベースのGCNが文書レベルの一貫性を効果的に捉えられるか？
• RQ3 注意機構と結合埋め込みがノイズの多いデータやドメインバイアスに対する頑健性にどう影響するか？
• RQ4 NCELの性能における局所特徴とグローバル特徴の相対的寄与はどの程度か？
• RQ5 Wikipediaのハイパーリンクでの訓練は標準的なELベンチマークへどれだけ一般化するか？

主な発見

• NCELは、強力な一般化能力を持つ5つの公開ELベンチマークで、一連のベースラインを一貫して上回る。
• 隣接メンションのサブグラフを用いると、効率が大幅に改善され、競争力のある性能を維持する。
• 注意機構はノイズに対する頑健性を高め、曖昧性解消のための特徴品質を改善する。
• 結合語/エンティティ埋め込みは、エンドツーエンドの枠組みで局所とグローバルの手がかりを効果的に統合できる。
• Wikipediaのハイパーリンクでの訓練は、データセットやドメインを跨いで強い一般化をもたらす。
• 定性的分析は、難解なケースの曖昧性解消において、近傍メンション信号がNCELに利益をもたらすことを示している。