[논문 리뷰] Differentiating Concepts and Instances for Knowledge Graph Embedding

Xin Lv, Lei Hou외 2명|ArXiv.org|2018. 11. 12.

Advanced Graph Neural Networks참고 문헌 22인용 수 8

한 줄 요약

이 논문은 지식 그래프 임베딩 모델인 TransC를 제안한다. 이 모델은 공유된 벡터 공간 내에서 개념(구형으로 표현됨)과 인스턴스(벡터로 표현됨)를 구분한다. instanceOf 및 subClassOf 관계를 기하학적 관계(예: 인스턴스 벡터가 개념의 구 안에 위치함)를 통해 모델링함으로써 isA 관계의 전이성을 포착한다. 이는 링크 예측 및 삼중항 분류 작업에서 최신 기법들을 능가하며, 계층적 추론 처리에 특히 유리하다.

ABSTRACT

Concepts, which represent a group of different instances sharing common properties, are essential information in knowledge representation. Most conventional knowledge embedding methods encode both entities (concepts and instances) and relations as vectors in a low dimensional semantic space equally, ignoring the difference between concepts and instances. In this paper, we propose a novel knowledge graph embedding model named TransC by differentiating concepts and instances. Specifically, TransC encodes each concept in knowledge graph as a sphere and each instance as a vector in the same semantic space. We use the relative positions to model the relations between concepts and instances (i.e., instanceOf), and the relations between concepts and sub-concepts (i.e., subClassOf). We evaluate our model on both link prediction and triple classification tasks on the dataset based on YAGO. Experimental results show that TransC outperforms state-of-the-art methods, and captures the semantic transitivity for instanceOf and subClassOf relation. Our codes and datasets can be obtained from https:// github.com/davidlvxin/TransC.

연구 동기 및 목표

• 기존 지식 그래프 임베딩 기법들이 개념과 인스턴스를 모두 벡터로 동일하게 취급하여 그 의미적 구분을 忽略하는 한계를 해결하기 위해.
• 벡터 공간 내 기하학적 관계를 활용하여 isA 관계(즉, instanceOf 및 subClassOf)의 전이성을 명시적으로 모델링하기 위해.
• isA 관계의 전이성 처리를 더 잘 평가하기 위해 YAGO에서 파생된 새로운 데이터셋 M-YAGO39K를 구축하기 위해.
• 개념 수준 및 인스턴스 수준 표현을 구분함으로써 링크 예측 및 삼중항 분류 성능을 향상시키기 위해.
• 특히 계층적 지식 구조에서 전이적 추론을 통해 새로운 사실을 더 정확하게 유추할 수 있도록 하기 위해.

제안 방법

• 지식 그래프 내 개념은 공유 임베딩 공간 내에서 초구로 인코딩되며, 인스턴스는 벡터로 표현된다.
• instanceOf 관계는 인스턴스 벡터가 개념의 구 안에 포함되어 있는지를 기하학적 거리 기준으로 확인하여 모델링된다.
• subClassOf 관계는 두 개념 구 사이의 네 가지 가능한 상대적 위치(예: 한 구가 다른 구에 포함됨, 겹침 등)를 열거하고 정량화함으로써 모델링된다.
• 통합 손실 함수는 세 가지 구성 요소(즉, instanceOf 손실, subClassOf 손실, 관계 손실)를 포함하며, 이들을 균형 잡기 위해 학습 가능한 가중치를 사용한다.
• 모델은 마진 기반 순위 손실을 사용하여 임베딩을 최적화하며, 각 손실 유형에 대해 별도의 초모수를 설정한다.
• 프레임워크는 번역 기반 모델과 통합되어 개념, 인스턴스, 관계의 임베딩을 함께 학습하며 확률적 최적화를 사용한다.

실험 결과

연구 질문

• RQ1 지식 그래프 임베딩에서 개념과 인스턴스를 구분함으로써 링크 예측 및 삼중항 분류 성능을 향상시킬 수 있는가?
• RQ2 instanceOf 및 subClassOf 관계를 기하학적으로 모델링하면 isA 관계에 내재된 전이성을 더 잘 포착할 수 있는가?
• RQ3 구 기반의 개념 표현 방식이 계층적 지식을 모델링할 때 기존의 벡터 기반 표현 방식보다 우수한가?
• RQ4 instanceOf 관계가 실제 지식 기반에서 지배적인 바탕으로 인해 데이터가 불균형한 관계에서 모델 성능은 어떻게 되는가?
• RQ5 학습 데이터에 존재하지 않는 관계라도 전이적 추론을 통해 새로운 유효한 isA 관계를 추론할 수 있는가?

주요 결과

• TransC는 YAGO39K 및 M-YAGO39K 데이터셋에서 링크 예측 및 삼중항 분류 작업 전반에서 TransE, TransD, HolE, DistMult, ComplEx를 모두 능가한다.
• M-YAGO39K에서 TransC는 instanceOf 및 subClassOf 삼중항 분류 모두에서 뚜렷한 성능 향상을 보이며, isA 전이성 처리 능력이 뛰어나다는 것을 시사한다.
• instanceOf 관계가 지배적인 경우에도 TransC는 모든 관계 유형에서 뛰어난 성능 유지를 보이며, 표현 학습의 균형이 더 잘 유지됨을 시사한다.
• 모델은 전이적 추론을 통해 새로운 instanceOf 및 subClassOf 삼중항을 성공적으로 추론한다. 예를 들어 (뉴욕 시티, instanceOf, 도시) 및 (해안 도시, subClassOf, 도시)와 같은 관계를 예측할 수 있으며, 이는 다른 모델이 포착하지 못한 사례이다.
• 기존 모델은 YAGO39K에서 M-YAGO39K로 이행할수록 성능이 급격히 하락하는 경향을 보였고, 특히 subClassOf 분류에서 두드러졌다. 반면 TransC는 지속적인 향상을 보이며 계층적 추론에 대한 강건성을 확인했다.
• 'bern' 샘플링 전략을 사용할 경우 'unif' 샘플링 대비 TransC에서 성능 향상이 두드러지게 나타났으며, 특히 관계 분류 작업에서 유의미한 개선이 있었다.