[논문 리뷰] SimplE Embedding for Link Prediction in Knowledge Graphs

Seyed Mehran Kazemi, David Poole|arXiv (Cornell University)|2018. 02. 13.

Tensor decomposition and applications인용 수 390

한 줄 요약

SimplE은 head/tail 점수를 CP와 유사한 방식으로 역수와 평균화하여 지식 그래프 완성을 위한 간단하고 완전 표현 가능한 bilinear 임베딩을 도입하고, 선형 복잡성을 유지하면서 강한 실험적 성능을 달성합니다.

ABSTRACT

Knowledge graphs contain knowledge about the world and provide a structured representation of this knowledge. Current knowledge graphs contain only a small subset of what is true in the world. Link prediction approaches aim at predicting new links for a knowledge graph given the existing links among the entities. Tensor factorization approaches have proved promising for such link prediction problems. Proposed in 1927, Canonical Polyadic (CP) decomposition is among the first tensor factorization approaches. CP generally performs poorly for link prediction as it learns two independent embedding vectors for each entity, whereas they are really tied. We present a simple enhancement of CP (which we call SimplE) to allow the two embeddings of each entity to be learned dependently. The complexity of SimplE grows linearly with the size of embeddings. The embeddings learned through SimplE are interpretable, and certain types of background knowledge can be incorporated into these embeddings through weight tying. We prove SimplE is fully expressive and derive a bound on the size of its embeddings for full expressivity. We show empirically that, despite its simplicity, SimplE outperforms several state-of-the-art tensor factorization techniques. SimplE's code is available on GitHub at https://github.com/Mehran-k/SimplE.

연구 동기 및 목표

• 부분적으로 비어 있는 지식 그래프에서 링크 예측의 필요성과 표현력이 있으면서도 확장 가능한 텐서 분해 모델의 필요성
• CP의 head와 tail 임베딩 독립성 문제를 관계 역수를 이용해 임베딩을 연결하고 표현력을 향상시키려는 SimplE 제안

제안 방법

• 각 엔티티에 대해 두 개의 엔티티 임베딩(h_e 및 t_e)과 각 관계에 대해 두 개의 관계 임베딩(v_r 및 v_{r^{-1}}를 정의합니다.
• SimplE 유사도를 (h_i, r, t_j)와 (h_j, r^{-1}, t_i)의 CP 점수 평균으로 정의합니다.
• 정규화된 로지스틱(softplus) 손실을 가진 확률적 경사 하강법으로 양의 삼항항과 음의 삼항항을 학습합니다.
• Bordes 등 절차를 따라 양의 삼항항의 머리나 꼬리를 손상시켜 음의 샘플을 생성합니다.
• 선택적으로 Simple-ignr를 사용하면 테스트 시 r^{-1} 항 없이 직접 CP 유사도만 사용합니다.
• 경량화된 모델과 함께 비교 가능한 성능을 유지하면서도 표현력, 배경 지식 도입 및 시간/파라미터 효율성에 대해 논의합니다.

실험 결과

연구 질문

• RQ1 CP에서 영감을 받은 이중선형 모델이 관계 역수를 포함했을 때 모든 가능한 실제Ground Truth를 완전히 표현할 수 있는가?
• RQ2 단일화된 표현력, 배경 지식 도입 및 효율성 측면에서 SimplE가 다른 텐서 분해 및 신경망 접근 방법과 어떻게 비교되는가?
• RQ3 과적합 없이 견고한 링크 예측 성능을 제공하는 손실 함수와 학습 절차는 무엇인가?
• RQ4 대칭성 및 역변환과 같은 배경 지식을 파라미터 묶음 tying을 통해 SimplE에 어떻게 인코딩할 수 있는가?

주요 결과

• SimplE은 완전 표현 가능하다; 모든 ground truth를 나타내는 임베딩 크기 한계가 존재한다.
• v_{r^{-1}}를 도입하여 머리와 꼬리 임베딩 간의 종속성을 가능하게 하여 CP의 독립성 문제를 해결한다.
• 배경 지식(대칭성, 비대칭성 및 역변환)은 관계 매개변수를 묶음으로 연결하여 제약된 추론을 가능하게 함으로써 코디드된 표현이 가능하다.
• 임베딩 크기에 대해 선형 시간 복잡도를 가지며, SimplE-ignr은 계산을 줄이면서 경쟁력 있는 성능을 유지한다.
• 실험적 비교에서 SimplE가 표준 벤치마크에서 다수의 최신 텐서 분해 기준보다 우수한 성능을 보인다.