[論文レビュー] Joint Learning of the Embedding of Words and Entities for Named Entity Disambiguation

Ikuya Yamada, Hiroyuki Shindo+2 more|arXiv (Cornell University)|Jan 6, 2016

Topic Modeling参考文献 29被引用数 48

ひとこと要約

本論文は、知識ベース（KB）のリンク構造とアンカーワードの文脈を組み合わせることで、語とエンティティを共有ベクトル空間にマップする、変更を加えたスキップグラムフレームワークを用いた、語とエンティティの統合埋め込みモデルを提案する。語の予測、KBグラフ内のエンティティの近接性、およびエンティティとアンカーワードの文脈の整合性を同時に最適化することで、CoNLLで93.1%、TAC 2010で85.2%の精度を達成し、名前付きエンティティの分類において、先行手法を顕著に上回る最先端の性能を発揮する。

ABSTRACT

Named Entity Disambiguation (NED) refers to the task of resolving multiple named entity mentions in a document to their correct references in a knowledge base (KB) (e.g., Wikipedia). In this paper, we propose a novel embedding method specifically designed for NED. The proposed method jointly maps words and entities into the same continuous vector space. We extend the skip-gram model by using two models. The KB graph model learns the relatedness of entities using the link structure of the KB, whereas the anchor context model aims to align vectors such that similar words and entities occur close to one another in the vector space by leveraging KB anchors and their context words. By combining contexts based on the proposed embedding with standard NED features, we achieved state-of-the-art accuracy of 93.1% on the standard CoNLL dataset and 85.2% on the TAC 2010 dataset.

研究の動機と目的

• 名前付きエンティティ分類（NED）の課題に、語とエンティティの表現を共有のベクトル空間で同時に学習することで対処すること。
• 文書内におけるエンティティ間の局所的文脈とグローバルな整合性の両方をモデル化することで、NEDのパフォーマンスを向上させること。
• 語とエンティティを別々に扱うか、文脈的類似性に依存する先行手法の限界を克服すること。
• 語とエンティティ間の意味的類似性を捉える埋め込み手法を開発し、ベクトル空間上の近接性によってより良い分類を実現すること。

提案手法

• d次元の共有ベクトル空間で語とエンティティの埋め込みを同時に学習できるように、スキップグラムモデルを拡張する。
• 知識ベース（例：Wikipedia）のリンク構造に基づいてエンティティの近接性を学習するKBグラフモデルを導入する。
• KBのアンカーと周囲りのテキストを用いて、エンティティのベクトルとその文脈語を整合させるアンカーコンテキストモデルを開発する。
• 語の予測、KBグラフ上の近接性、アンカーコンテキストの予測の3つのコンポONENTを同時に最適化して埋め込みを学習する。
• 学習済みの埋め込みを用いて、2つの主要なNED特徴量を計算する：(1) 見出し語の文脈と候補エンティティとの類似度、(2) 文書内エンティティ間の整合性。
• これらの埋め込みベースの特徴量を、事前確率などの標準的なNED特徴量と組み合わせ、教師あり学習により最終的な分類を実施する。

実験結果

リサーチクエスチョン

• RQ1 語とエンティティの埋め込みを統合的に学習することで、別個の表現に比べて名前付きエンティティ分類のパフォーマンスが向上するか？
• RQ2 KBのリンク構造とアンカーワードの文脈を効果的に活用することで、エンティティ表現学習がどの程度向上するか？
• RQ3 共有埋め込みを通じて局所的文脈類似性とグローバルな整合性の両方を組み込むことで、分類精度が向上するか？
• RQ4 提案された埋め込みコンponentsが、曖昧な見出し語や低頻度エンティティに起因する誤りをどの程度低減できるか？

主な発見

• 提案手法はCoNLLデータセットで93.1%の最先端の精度を達成し、先行手法を上回った。
• TAC 2010データセットでは85.2%の精度に達し、既存のアプローチに対して顕著な改善を示した。
• 独立したエンティティ類似度データセットでの検証により、高品質なエンティティ表現が学習されたことが確認された。
• 約9.6%の誤りが、10個未満のKBアンカーを有するテールエンティティに起因しており、希少エンティティの表現に限界があることが示された。
• 整合性のモデリングにおいて特に優れた性能を示し、統合埋め込みにより文書内の複数エンティティにわたるグローバルな分類意思決定が改善された。
• アブレーションスタディにより、KBグラフモデルとアンカーコンテキストモデルの両方が最終パフォーマンスに顕著な寄与をしていることが確認された。