[論文レビュー] Probabilistic Belief Embedding for Knowledge Base Completion

Miao Fan, Qiang Zhou+3 more|arXiv (Cornell University)|May 10, 2015

Topic Modeling参考文献 22被引用数 7

ひとこと要約

本稿では、知識ベースの三元組の妥当性を推定するために、エンティティ、関係、関係のmentionにおける語の分散表現を統合的に学習する統一的モデルである確率的信念埋め込み（PBE）を提案する。構造的知識と非構造的テキストを確率的スコアリングによって統合することで、WordNet、Freebase、NELLのデータセットにおいて、エンティティ推論、関係予測、三元組分類の各タスクで顕著な性能向上を達成し、Hit@1において最大327.6%の向上を示した。

ABSTRACT

This paper contributes a novel embedding model which measures the probability of each belief $\langle h,r,t,m angle$ in a large-scale knowledge repository via simultaneously learning distributed representations for entities ($h$ and $t$), relations ($r$), and the words in relation mentions ($m$). It facilitates knowledge completion by means of simple vector operations to discover new beliefs. Given an imperfect belief, we can not only infer the missing entities, predict the unknown relations, but also tell the plausibility of the belief, just leveraging the learnt embeddings of remaining evidences. To demonstrate the scalability and the effectiveness of our model, we conduct experiments on several large-scale repositories which contain millions of beliefs from WordNet, Freebase and NELL, and compare it with other cutting-edge approaches via competing the performances assessed by the tasks of entity inference, relation prediction and triplet classification with respective metrics. Extensive experimental results show that the proposed model outperforms the state-of-the-arts with significant improvements.

研究の動機と目的

• 構造的でない知識ベースの不完全さとノイズの問題に対処し、異種のデータソース上で確率的推論を可能にすること。
• 構造的知識（三元組）と非構造的テキスト（関係のmention）を、1つの埋め込みフレームワーク内で統合し、知識補完を向上させること。
• 1つの整合的な確率的モデル内で、エンティティ推論、関係予測、三元組分類の複数の知識補完タスクをサポートすること。
• 従来のモデルがテキスト的文脈を無視するか、大規模リポジトリにスケーリングできないという限界を克服すること。
• WordNet、Freebase、NELLのような実世界の大規模知識ベースにおいて、スケーラビリティと有効性を実証すること。

提案手法

• PBEは、確率的スコアリング関数を用いて、頭部および末尾エンティティ、関係、および関係のmentionにおける語の低次元分散表現を統合的に学習する。
• モデルは条件付き確率に基づくスコアリング関数を採用している：Pr(h|r,t)Pr(r|h,t)Pr(t|h,r)。これは、信念三元組⟨h,r,t,m⟩の妥当性を推定する。
• 効率的な最適化のため、負例サンプリングが適用され、学習問題が確率的勾配降下フレームワークに変換される。
• モデルは、関係のmention（m）からのテキスト的証拠を埋め込み空間に統合し、単なる関係を超えた文脈的推論を可能にする。
• 統合フレームワークにより、エンティティ、関係、語の埋め込みのエンドツーエンド学習が可能となり、推論のためのベクトル演算が促進される。
• このフレームワークは、エンティティ推論（欠落した頭部／末尾）、関係予測（欠落した関係）、三元組分類（妥当性チェック）の複数のタスクをサポートする。

実験結果

リサーチクエスチョン

• RQ1 統一された埋め込みモデルは、構造的知識と非構造的テキストを統合して、知識ベース補完を効果的に改善できるか？
• RQ2 エンティティ、関係、語の埋め込みの統合的学習は、知識ベース三元組の妥当性推定をどの程度向上させるか？
• RQ3 関係のmention（m）を統合することで、テキスト的文脈を無視するモデルと比較して、エンティティ推論および関係予測の性能はどの程度向上するか？
• RQ4 提案されたモデルは、Freebase や NELL のような大規模知識ベースに効果的にスケーリングできるか？
• RQ5 エンティティ推論、関係予測、三元組分類の複数の知識補完タスクにおいて、同時に最先端の性能を達成できるか？

主な発見

• NELL-50Kデータセットにおいて、PBEは関係予測タスクで、先行の最先端手法比でHit@1に327.6%の相対的向上を達成した。
• WN-100Kデータセットでは、PBEは関係予測タスクでHit@1に276.2%、Mean Rankに41.1%の向上を示した。
• 三元組分類においては、PBEはTransE、TransH、TransMを上回り、NELL-50Kで7.9%、WN-100Kで5.6%、FB-500Kで5.6%の精度向上を達成した。
• エンティティ推論においては、FB-500KデータセットでMean Rank Filterに10.4%の向上を達成した。
• PBEは、NELL-50K、WN-100K、FB-500Kの3つのデータセットすべてにおいて、評価されたタスクで強力なスケーラビリティと一貫した優位性を示した。
• 関係のmentionからの語レベルの埋め込みの統合は、特に関係予測において顕著な性能向上をもたらし、いくつかの指標で100%を超える向上を達成した。