[논문 리뷰] Composing Knowledge Graph Embeddings via Word Embeddings

Lianbo Ma, Peng Sun외 2명|arXiv (Cornell University)|2019. 09. 09.

Advanced Graph Neural Networks참고 문헌 27인용 수 8

한 줄 요약

이 논문은 사전에 훈련된 단어 임베딩을 활용하여 실체와 관계를 표현함으로써, 훈련 데이터에 포함되지 않은(알 수 없는) 실체와 관계에 대해 효과적인 추론을 가능하게 하는 새로운 방법인 TransW를 제안한다. 단어 임베딩 공간에서 지식 임베딩 공간으로의 매핑을 학습함으로써 TransW는 링크 예측과 삼중관계 분류에서 최신 기술 수준의 성능을 달성하며, 특히 FB13 및 FB15K와 같이 풍부한 텍스트 기반 관계를 가진 지식 그래프에서 뛰어난 성능을 보인다.

ABSTRACT

Learning knowledge graph embedding from an existing knowledge graph is very important to knowledge graph completion. For a fact $(h,r,t)$ with the head entity $h$ having a relation $r$ with the tail entity $t$, the current approaches aim to learn low dimensional representations $(\mathbf{h},\mathbf{r},\mathbf{t})$, each of which corresponds to the elements in $(h, r, t)$, respectively. As $(\mathbf{h},\mathbf{r},\mathbf{t})$ is learned from the existing facts within a knowledge graph, these representations can not be used to detect unknown facts (if the entities or relations never occur in the knowledge graph). This paper proposes a new approach called TransW, aiming to go beyond the current work by composing knowledge graph embeddings using word embeddings. Given the fact that an entity or a relation contains one or more words (quite often), it is sensible to learn a mapping function from word embedding spaces to knowledge embedding spaces, which shows how entities are constructed using human words. More importantly, composing knowledge embeddings using word embeddings makes it possible to deal with the emerging new facts (either new entities or relations). Experimental results using three public datasets show the consistency and outperformance of the proposed TransW.

연구 동기 및 목표

• 훈련 데이터에 존재하지 않는 알 수 없는 실체와 관계를 다루는 데에 기존 지식 그래프 임베딩 모델의 한계를 해결하기 위해.
• 다중 단어로 구성된 실체와 관계를 표현하기 위해 단어 임베딩의 의미적 풍부성을 활용하기 위해.
• 알 수 없는 사실에 일반화하기 위해 단어 임베딩 공간에서 지식 임베딩 공간으로의 매핑 함수를 개발하기 위해.
• 구성된 단어의 임베딩을 기반으로 새로운 실체와 관계에 대해 제로샷 추론을 가능하게 하기 위해.
• 단어 임베딩에서 유래한 어휘적 및 의미적 정보를 통합함으로써 지식 그래프 보완 성능을 향상시키기 위해.

제안 방법

• 각 실체와 관계를 단어의 시퀀스로 표현하고, 사전에 훈련된 단어 임베딩을 사용하여 의미를 인코딩한다.
• 단어 임베딩 공간 $ \mathbb{W} $에서 지식 임베딩 공간 $ \mathbb{K} $로의 미분 가능한 매핑 함수 $ g: \mathbb{W} \rightarrow \mathbb{K} $ 를 학습한다. 여기서 $ \mathbb{W} $ 와 $ \mathbb{K} $ 는 저차원 벡터 공간이다.
• 학습된 매핑 함수를 통해 머리 실체, 관계, 꼬리 실체의 단어 임베딩을 집계하여 삼중관 $ (h, r, t) $ 의 지식 그래프 임베딩을 구성한다.
• 단어 수준 표현에서 유도된 임베딩를 사용하는 TransE 스코어링 함수 $ f_r(\mathbf{h}, \mathbf{t}) = \| \mathbf{h} + \mathbf{r} - \mathbf{t} \|_2^2 $ 를 수정한다.
• 기존 삼중관계에서의 순서 정렬 손실을 최소화하기 위해 음성 샘플링과 확률적 경사 하강법을 사용하여 모델을 종합적으로 훈련한다.
• 실체와 관계의 이름을 단어 임베딩 레이어의 입력으로 사용함으로써, 텍스트 형태에 기반해 새로운 실체나 관계에 대해 제로샷 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 알 수 없는 실체와 관계에 대해 단어 임베딩을 효과적으로 활용하여 지식 그래프 임베딩을 구성할 수 있는가?
• RQ2 단어 임베딩에서 유래한 어휘적 의미 정보를 통합함으로써 지식 그래프 보완 작업에서 일반화 성능이 향상되는가?
• RQ3 제안된 TransW 모델은 링크 예측 및 삼중관계 분류에서 기존 최신 기술 수준 모델과 비교해 어떻게 성능을 내는가?
• RQ4 TransW의 성능이 기반 단어 임베딩의 품질과 의미적 풍부성에 얼마나 의존하는가?
• RQ5 원래 지식 그래프에 존재하지 않는 머리, 꼬리 실체 또는 관계가 포함된 새로운 사실에 대해 모델이 일반화할 수 있는가?

주요 결과

• FB13 데이터셋에서 TransW는 HITS@10 점수 47.93을 기록하여 TransE(32.65)와 TransR(26.83)를 크게 앞서며 뛰어난 링크 예측 성능을 입증한다.
• FB15K 데이터셋에서 TransW는 HITS@10 점수 35.94를 기록하여 TransD(35.22)와 TransH(25.80)를 앞서며 대규모 지식 그래프에서 강력한 일반화 성능을 보인다.
• 삼중관계 분류에서 TransW는 FB13에서 87.5%의 정확도를 기록하여 TransD(87.7%)와 ManifoldE(87.2%)를 능가하며, 최고 성능을 기록한 모델에 비해 0.2% 이내의 격차를 보인다.
• WN11에서 TransW는 삼중관계 분류에서 81.1%의 정확도를 기록하여 TransE(75.7%)와 Complex(60.0%)를 앞서며 단순한 어휘 기반 지식 그래프에서도 효과적임을 보여준다.
• 관계의 의미적 특성이 풍부한 데이터셋(예: FB13)에서 일관된 성능 향상을 보이며, 관계가 다중 단어이고 의미적으로 유사한 경우에 단어 수준의 조합이 의미적 일반화를 향상시킨다는 점을 시사한다.
• TransW는 단어 임베딩에서 구성된 임베딩을 통해 알 수 없는 실체와 관계에 대해 제로샷 기능을 구현함으로써, 이론적 핵심 가정의 타당성을 입증한다.