[논문 리뷰] From Knowledge Graph Embedding to Ontology Embedding? An Analysis of the Compatibility between Vector Space Representations and Rules

Víctor Gutiérrez-Basulto, Steven Schockaert|arXiv (Cornell University)|2018. 05. 26.

Advanced Graph Neural Networks인용 수 8

한 줄 요약

이 논문은 지식 그래프 임베딩을 위한 기하학적 프레임워크를 제안하며, 관계를 벡터 공간 내의 볼록 영역으로 모델링하여 서열 규칙—특히 준쇄적 존재적 규칙—의 충실한 표현을 가능하게 한다. 기존의 표준 모델들인 TransE와 DistMult가 이러한 규칙을 포착하지 못함을 보여주며, 볼록 영역 임베딩은 입력 온톨로지에 대해 논리적 일관성과 추론 닫힘을 보장한다.

ABSTRACT

Recent years have witnessed the successful application of low-dimensional vector space representations of knowledge graphs to predict missing facts or find erroneous ones. However, it is not yet well-understood to what extent ontological knowledge, e.g. given as a set of (existential) rules, can be embedded in a principled way. To address this shortcoming, in this paper we introduce a general framework based on a view of relations as regions, which allows us to study the compatibility between ontological knowledge and different types of vector space embeddings. Our technical contribution is two-fold. First, we show that some of the most popular existing embedding methods are not capable of modelling even very simple types of rules, which in particular also means that they are not able to learn the type of dependencies captured by such rules. Second, we study a model in which relations are modelled as convex regions. We show particular that ontologies which are expressed using so-called quasi-chained existential rules can be exactly represented using convex regions, such that any set of facts which is induced using that vector space embedding is logically consistent and deductively closed with respect to the input ontology.

연구 동기 및 목표

• 벡터 공간 임베딩과 형식적 온톨로지 규칙 간의 호환성을 조사하기 위해.
• 기존 지식 그래프 임베딩 모델이 논리적 의존성 표현에 있어 근본적인 한계를 가지는 이유를 규명하기 위해.
• 특히 준쇄적 존재적 규칙과 같은 표현력 있는 온톨로지 규칙 클래스를 충실하게 표현할 수 있는 기하학적 임베딩 프레임워크를 개발하기 위해.
• 임베딩에서 유도된 사실들이 주어진 온톨로지에 대해 논리적으로 일관되고 추론적으로 닫혀 있음을 보장하기 위해.
• 지식 표현 분야에서 신경망 기반 인도크션과 상징적 디덕션 간의 더욱 탴튼 통합을 위한 기초를 마련하기 위해.

제안 방법

• 엔티티 임베딩을 연결한 벡터 공간 내에서 관계를 볼록 영역으로 모델링한다.
• 관계 R을 영역 η(R) ⊆ R^{2n}으로 표현하며, (e,f) ∈ η(R)일 조건은 s_R(e,f) ≤ λ_R이다.
• 임베딩이 공간적 제약 조건(예: R(X,Y) → S(X,Y)에 대해 η(R) ⊆ η(S))으로 논리 규칙을 어떻게 포괄할 수 있는지 형식화하기 위해 영역 기반 시각을 사용한다.
• 관계를 임의의 볼록 영역으로 모델링함으로써 표현력 있는 규칙 표현을 지원하는 새로운 임베딩 프레임워크를 제안한다.
• 볼록 기하 모델이 준쇄적 존재적 규칙을 정확히 표현할 수 있음을 보여주며, 논리적 일관성과 닫힘을 유지함을 입증한다.
• 표현력과 일반화 사이의 균형을 확보하기 위한 정규화 전략을 제안하며, 기존의 표준 모델들인 TransE와 DistMult는 특수한 경우로 포함된다.

실험 결과

연구 질문

• RQ1 TransE와 DistMult와 같은 표준 지식 그래프 임베딩 모델들이 존재적 규칙이나 포함관계 규칙과 같은 일반적인 온톨로지 규칙을 표현할 수 있는가?
• RQ2 벡터 공간 임베딩의 어떤 기하적 성질이 온톨로지 내 논리적 의존성을 충실하게 표현하는 데 필수적이고 충분한가?
• RQ3 기존의 임베딩 방법들이 규칙을 통해 표현된 지식 기반의 논리적 구조를 얼마나 잘못 모델링하는가?
• RQ4 볼록 영역 기반 임베딩이 주어진 온톨로지에 대해 유도된 사실들의 집합이 논리적으로 일관되고 추론적으로 닫혀 있음을 보장할 수 있는가?
• RQ5 어떤 종류의 규칙들이 볼록 기하 모델을 통해 정확히 표현될 수 있으며, 이러한 모델은 어떻게 실용적으로 학습될 수 있는가?

주요 결과

• TransE와 DistMult와 같은 표준 지식 그래프 임베딩 모델은 R(X,Y) → S(X,Y)와 같은 기본적인 포함관계 규칙조차도 기하학적 제약로 인해 표현할 수 없다.
• DistMult 모델은 포함관계 계층의 매우 제한된 클래스만 표현할 수 있어 온톨로지 지식을 코딩하는 데 능력이 제한된다.
• 볼록 영역 기반 임베딩은 준쇄적 존재적 규칙의 클래스를 정확히 표현할 수 있으며, 모든 유도된 사실이 논리적으로 일관되고 추론적으로 닫혀 있음을 보장한다.
• 제안된 프레임워크는 기존 모델들을 일반화한다: TransE와 DistMult(비음수 좌표를 가진 경우)는 볼록 영역 임베딩의 특수한 경우이다.
• 이론적 분석을 통해 볼록 기하 모델이 상징적 추론과 신경망 임베딩을 통합하는 데 탄탄한 기초를 제공한다는 것이 입증된다.
• 프레임워크를 통해 온톨로지를 임베딩 학습에서 인도크션 바이어스로 활용할 수 있어 일반화와 일관성을 향상시킬 수 있다.