[論文レビュー] From Knowledge Graph Embedding to Ontology Embedding? An Analysis of the Compatibility between Vector Space Representations and Rules

Víctor Gutiérrez-Basulto, Steven Schockaert|arXiv (Cornell University)|May 26, 2018

Advanced Graph Neural Networks被引用数 8

ひとこと要約

本稿では、知識グラフ埋め込みの幾何的枠組みを提案し、関係をベクトル空間内の凸領域としてモデル化することで、特に準鎖状の存在記述規則を含む、記述論的ルールの忠実な表現を可能にする。標準的なモデル（例：TransE や DistMult）はこのようなルールを捉えられないと示され、凸領域埋め込みは入力の記述論的知識ベースに関して論理的整合性と帰納的閉包を保証する。

ABSTRACT

Recent years have witnessed the successful application of low-dimensional vector space representations of knowledge graphs to predict missing facts or find erroneous ones. However, it is not yet well-understood to what extent ontological knowledge, e.g. given as a set of (existential) rules, can be embedded in a principled way. To address this shortcoming, in this paper we introduce a general framework based on a view of relations as regions, which allows us to study the compatibility between ontological knowledge and different types of vector space embeddings. Our technical contribution is two-fold. First, we show that some of the most popular existing embedding methods are not capable of modelling even very simple types of rules, which in particular also means that they are not able to learn the type of dependencies captured by such rules. Second, we study a model in which relations are modelled as convex regions. We show particular that ontologies which are expressed using so-called quasi-chained existential rules can be exactly represented using convex regions, such that any set of facts which is induced using that vector space embedding is logically consistent and deductively closed with respect to the input ontology.

研究の動機と目的

• ベクトル空間埋め込みと形式的記述論的ルールの整合性を調査すること。
• 既存の知識グラフ埋め込みモデルが論理的依存関係を表現する際に有する根本的制限を特定すること。
• 特に準鎖状の存在記述規則のような、表現力の高い記述論的ルールクラスを忠実に表現できる幾何的埋め込み枠組みを開発すること。
• 埋め込みから導出された事実が、与えられた記述論的知識ベースに関して論理的に整合的かつ帰納的閉包を満たすように保証すること。
• ニューラルネットワークに基づく帰納と記号的演繹を、知識表現分野でより緊密に統合する基盤を築くこと。

提案手法

• エンティティ埋め込みの連結空間における関係を凸領域としてモデル化する。
• 関係 R を空間 R^{2n} 内の領域 η(R) ⊆ R^{2n} として表現し、(e,f) ∈ η(R) であるのは s_R(e,f) ≤ λ_R であるときである。
• 領域ベースの視点を用いて、埋め込みが空間的制約として論理的ルールをどのようにエンコードできるかを形式化する（例：R(X,Y) → S(X,Y) に対して η(R) ⊆ η(S)）。
• 関係を任意の凸領域としてモデル化する、新たな埋め込み枠組みを提案し、表現力の高いルール表現を可能にする。
• 凸幾何モデルが準鎖状の存在記述規則を正確に表現でき、論理的整合性と閉包を保持できることを示す。
• 表現力と一般化のバランスを図るための正則化戦略を提案し、標準モデル（例：TransE や DistMult）を特別なケースとして含む。

実験結果

リサーチクエスチョン

• RQ1 TransE や DistMult といった標準的な知識グラフ埋め込みモデルは、存在記述や包含関係ルールといった一般的な記述論的ルールを表現できるか？
• RQ2 ベクトル空間埋め込みにおいて、記述論的知識ベースの論理的依存関係を忠実に表現するために必要な幾何的性質は何か？（十分かつ必要であるもの）
• RQ3 既存の埋め込み手法は、ルールで表現された知識ベースの論理的構造をどの程度正しくモデル化できていないか？
• RQ4 凸領域ベースの埋め込みは、与えられた記述論的知識ベースに関して、導出された事実の集合が論理的に整合的かつ帰納的閉包を満たすことを保証できるか？
• RQ5 どのようなルールクラスが凸幾何モデルを用いて正確に表現可能か？また、このようなモデルは実用的にどのように学習可能か？

主な発見

• TransE や DistMult といった標準的な知識グラフ埋め込みモデルは、R(X,Y) → S(X,Y) のような基本的な包含関係ルールですら、幾何的制約のため表現できない。
• DistMult モデルは、包含階層の非常に限定されたクラスしか表現できず、記述論的知識のエンコード能力に制限を受ける。
• 凸領域ベースの埋め込みは、準鎖状の存在記述規則のクラスを正確に表現でき、すべての導出事実が論理的に整合的かつ帰納的閉包を満たすことを保証する。
• 提案された枠組みは既存モデルを一般化する：TransE や DistMult（非負の座標を前提とする）は、凸領域埋め込みの特別なケースである。
• 理論的分析により、凸幾何モデルが記号的推論とニューラル埋め込みを統合するための健全な基盤を提供することが示された。
• この枠組みにより、記述論的知識ベースを埋め込み学習におけるインダクティブバイアスとして活用でき、一般化性と整合性の両方が向上する。