[論文レビュー] Leveraging Deep Neural Networks and Knowledge Graphs for Entity Disambiguation

Hongzhao Huang, Larry Heck+1 more|arXiv (Cornell University)|Apr 28, 2015

Topic Modeling参考文献 48被引用数 93

ひとこと要約

本稿では、深層ニューラルネットワーク（DNNs）と、エンティティの事実、タイプ、記述を含む異種の知識を有する意味的知識グラフ（KGs）を活用することで、低次元で意味的に豊かなエンティティ表現を学習する、深層意味的類似度モデル（DSRM）を提案する。DSRMは、大規模なKGs上で教師あり学習を実施し、意味的に関連するエンティティ間の距離を最小化するように訓練することで、2つの公開データセットにおいて、正規化Google距離に基づく最先端手法と比較して、エンティティの曖昧性解消誤差をそれぞれ19.4%および24.5%削減する。

ABSTRACT

Entity Disambiguation aims to link mentions of ambiguous entities to a knowledge base (e.g., Wikipedia). Modeling topical coherence is crucial for this task based on the assumption that information from the same semantic context tends to belong to the same topic. This paper presents a novel deep semantic relatedness model (DSRM) based on deep neural networks (DNN) and semantic knowledge graphs (KGs) to measure entity semantic relatedness for topical coherence modeling. The DSRM is directly trained on large-scale KGs and it maps heterogeneous types of knowledge of an entity from KGs to numerical feature vectors in a latent space such that the distance between two semantically-related entities is minimized. Compared with the state-of-the-art relatedness approach proposed by (Milne and Witten, 2008a), the DSRM obtains 19.4% and 24.5% reductions in entity disambiguation errors on two publicly available datasets respectively.

研究の動機と目的

• 伝統的なエンティティ類似度測定法の限界、すなわちWikipediaのアンカーリンクに依存することや、人気のあるエンティティに偏る傾向を是正すること。
• より正確なエンティティ間の意味的類似度を学習することで、エンティティの曖昧性解消におけるトピック的一貫性モデリングを向上させること。
• 意味的知識グラフ（KGs）が、エンティティ類似度を測定する際にWikipediaのアンカーリンクよりも優れているかどうかを検討すること。
• 深層ニューラルネットワーク（DNNs）が、正規化Google距離（NGD）やベクトル空間モデル（VSP）といった従来手法よりも、類似度測定において優れているかどうかを評価すること。
• DNNベースの意味的表現とグラフ正則化を統合した統一フレームワークを構築し、更げの性能を向上させること。

提案手法

• DSRMは、構造的知識（エンティティの三項組）、エンティティタイプ、およびテキスト記述を含む異種の意味的知識を、統一された潜在空間にエンコードする。
• モデルは、エンティティ表現を意味的に関連するエンティティが距離的に近くなるような低次元ベクトル空間にマップする多層非線形変換を用いた深層ニューラルネットワークを用いる。
• 訓練は、大規模なKGsおよびWikipedia上で教師あり学習を実施し、意味的に関連するエンティティペア間の距離を最小化するように最適化される。
• DSRMは、文書コンテキストにおける表記のトピック的一貫性をモデル化するため、非教師ありのグラフ正則化フレームワーク（GraphRegu）に統合される。
• 本手法は、エンティティ事実、エンティティタイプ、記述、関係という4つの知識タイプを統合し、DSRM 1234として4つすべての知識タイプで訓練することで最適なパフォーマンスを達成する。
• 標準的な指標（nDCGおよびP@1.0）を用いて、AIDAおよびツイートデータセット上で評価され、NGD、VSP、M&Wベースラインと比較される。

実験結果

リサーチクエスチョン

• RQ1 意味的知識グラフ上で訓練された深層ニューラルネットワークは、正規化Google距離のような従来手法よりも、より正確なエンティティ類似度スコアを生成できるか？
• RQ2 KGsからの構造的およびテキスト的知識の使用は、Wikipediaのアンカーリンクに依存する場合よりも、意味的類似度測定において効果的であるか？
• RQ3 DSRMがアンカーリンクに依存しない意味的関係を捉える能力が、エンティティの曖昧性解消性能を向上させるか？
• RQ4 DSRMとグラフ正則化の統合は、エンティティの曖昧性解消におけるトピック的一貫性モデリングをどのように向上させるか？
• RQ5 DNNベースのモデルは、類似度測定および曖昧性解消の両タスクにおいて、従来のベクトル空間モデルや確率的モデルを上回ることができるか？

主な発見

• 4つの知識タイプ（DSRM 1234）を統合したDSRMは、AIDAニュースデータセットにおいてM&Wベースラインと比較して、曖昧性解消誤差を24.5%相対的に削減した。
• ツイートデータセットでは、DSRM 1234がM&W手法と比較して、曖昧性解消誤差を19.4%相対的に削減した。
• DSRMは、ツイートセットにおいて類似度測定（nDCG@10: 0.74 vs. 0.58）および曖昧性解消（P@1.0: 71.72% vs. 69.17%）の両方で、NGDおよびVSPを顕著に上回った。
• 意味的KGsは、Wikipediaのアンカーリンクよりも類似度測定に優れていることが判明した。NGDおよびVSPのKGベースのバージョンは、Wikipediaアンカーリンクベースのそれらを上回った（p ≤ 0.05）。
• DSRMは、テストされたすべての手法の中で最高のnDCG@1（0.81）およびMAP（0.68）スコアを達成し、関連エンティティの順序付けの質が優れていることを示した。
• モデルは、関連度スコアが0.68であったため、「Middlesbrough」を「Middlesbrough F.C.」に正しく更げることができたが、M&Wは正しくおよび誤ったペアの両方でスコアが0.39であったため失敗した。