[논문 리뷰] TorusE: Knowledge Graph Embedding on a Lie Group

Takuma Ebisu, Ryutaro Ichise|arXiv (Cornell University)|2017. 11. 15.

Advanced Graph Neural Networks참고 문헌 21인용 수 11

한 줄 요약

TorusE는 기존 TransE의 벡터 공간을 원환면—compact Lie 군—으로 대체하여 정규화가 필요 없이도 번역 원리를 유지하는 지식 그래프 임베딩 모델을 제안한다. 원환면에 실체와 관계를 임베딩함으로써 TorusE는 링크 예측 작업에서 최신 기준 성능을 달성한다 (예: WN18에서 HITS@1 94.3%, FB15K에서 67.4%) 하며, 정확도와 속도 면에서 TransE, DistMult, ComplEx를 모두 능가한다.

ABSTRACT

Knowledge graphs are useful for many artificial intelligence (AI) tasks. However, knowledge graphs often have missing facts. To populate the graphs, knowledge graph embedding models have been developed. Knowledge graph embedding models map entities and relations in a knowledge graph to a vector space and predict unknown triples by scoring candidate triples. TransE is the first translation-based method and it is well known because of its simplicity and efficiency for knowledge graph completion. It employs the principle that the differences between entity embeddings represent their relations. The principle seems very simple, but it can effectively capture the rules of a knowledge graph. However, TransE has a problem with its regularization. TransE forces entity embeddings to be on a sphere in the embedding vector space. This regularization warps the embeddings and makes it difficult for them to fulfill the abovementioned principle. The regularization also affects adversely the accuracies of the link predictions. On the other hand, regularization is important because entity embeddings diverge by negative sampling without it. This paper proposes a novel embedding model, TorusE, to solve the regularization problem. The principle of TransE can be defined on any Lie group. A torus, which is one of the compact Lie groups, can be chosen for the embedding space to avoid regularization. To the best of our knowledge, TorusE is the first model that embeds objects on other than a real or complex vector space, and this paper is the first to formally discuss the problem of regularization of TransE. Our approach outperforms other state-of-the-art approaches such as TransE, DistMult and ComplEx on a standard link prediction task. We show that TorusE is scalable to large-size knowledge graphs and is faster than the original TransE.

연구 동기 및 목표

• TransE의 정규화 문제를 해결하여 실체 임베딩의 왜곡을 방지하고 링크 예측 정확도 향상을 도모한다.
• 정규화가 필요 없이 TransE의 번역 원리를 유지하는 대안적 임베딩 공간을 탐색한다.
• 특히 원환면을 포함한 compact Lie 군이 지식 그래프 임베딩에 적합한지를 입증한다.
• 기존 최신 기준 방법들을 능가하는 확장성 있고 고성능의 모델을 개발한다.

제안 방법

• TransE의 실수 벡터 공간을 원환면—compact Lie 군—으로 대체하여 정규화 없이도 임베딩를 자연스럽게 제약한다.
• 원환면의 군 연산을 활용해 TransE 원리 $\mathbf{h} + \mathbf{r} = \mathbf{t}$ 를 임베딩 공간의 모듈로 산술로 변형 적용한다.
• 관계를 원환면 군의 원소로 모델링하기 위해 파라미터화된 회전 기반 변환을 적용한다.
• TransE와 유사한 마진 기반 순위 손실 함수를 사용해 모델을 최적화하지만, 구면 정규화는 사용하지 않는다.
• 원환면의 컴 pactness를 활용해 학습 중 임베딩 발산을 방지한다.
• 효율적인 행렬 연산과 모듈로 산술을 활용해 계산적 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 TransE의 벡터 공간을 원환면과 같은 compact Lie 군으로 대체함으로써 정규화가 필요 없어지는가?
• RQ2 원환면에 임베딩을 적용할 경우 TransE의 번역 원리가 유지되면서 링크 예측 정확도가 향상되는가?
• RQ3 TorusE는 TransE, DistMult, ComplEx와 같은 최신 기준 모델과 비교해 성능과 속도 면에서 어떻게 성과를 내는가?
• RQ4 Lie 군 기반의 임베딩 공간은 모델의 중복을 줄이고 일반화 능력을 향상시키는가?

주요 결과

• WN18 데이터셋에서 TorusE는 HITS@1 94.3%를 달성하여 ComplEx(93.6%)와 TransE(68.1%)를 모두 능가한다.
• FB15K에서 TorusE는 HITS@1 67.4%를 기록하여 TransE(44.3%)와 ComplEx(65.4%)를 크게 앞서간다.
• 정규화 계산을 제거하고 모듈로 산술을 효율적으로 활용함으로써 TorusE는 TransE보다 빠른 속도를 보인다.
• 다양한 관계에 대해 일반화 능력이 뛰어나며, WN18의 대부분의 관계에서 MRR 점수가 ComplEx와 동일하거나 이를 초월한다.
• 고차원의 원환면 임베딩 공간은 과적합을 줄이고 더 rich한 표현 학습을 가능하게 한다.
• TorusE는 TransE 원리 자체가 본질적으로 결함이 있는 것은 아니며, 문제의 근본 원인은 정규화에 있음을 입증한다.