[논문 리뷰] Complex Embeddings for Simple Link Prediction

Théo Trouillon, Johannes Welbl외 3명|arXiv (Cornell University)|2016. 06. 20.

Advanced Graph Neural Networks참고 문헌 25인용 수 1,127

한 줄 요약

이 논문은 ComplEx를 소개합니다. 복소수 값 임베딩 방법을 사용하고 헤르미티안 내적을 통해 대칭 및 비대칭 관계를 모델링하며, 선형 공간/시간 복잡도로 최첨단 성능을 달성합니다.

ABSTRACT

In statistical relational learning, the link prediction problem is key to automatically understand the structure of large knowledge bases. As in previous studies, we propose to solve this problem through latent factorization. However, here we make use of complex valued embeddings. The composition of complex embeddings can handle a large variety of binary relations, among them symmetric and antisymmetric relations. Compared to state-of-the-art models such as Neural Tensor Network and Holographic Embeddings, our approach based on complex embeddings is arguably simpler, as it only uses the Hermitian dot product, the complex counterpart of the standard dot product between real vectors. Our approach is scalable to large datasets as it remains linear in both space and time, while consistently outperforming alternative approaches on standard link prediction benchmarks.

연구 동기 및 목표

• 대규모 지식 기반에서 링크 예측의 동기를 제시하고, 과도한 매개변수 없이 비대칭 관계를 다룹니다.
• 헤르미티안 내적을 사용하여 관계 점수를 매기는 복소수 임베딩 모델을 제안합니다.
• 공유 엔터티 임베딩과 관계별 복소 가중치를 갖는 다중 관계 데이터로 확장합니다.
• 표준 벤치마크(FB15K, WN18)에서 확장성 및 실증적 성능을 입증합니다.
• 실용적 구현을 돕기 위해 동등한 실수형 재구성을 제공합니다.

제안 방법

• 관계를 저랭크의 복소수 행렬 X = (E W ϵer^T)로 모델링하고 X_{so} = e_s^T W ϵr o (e_o의 켤레 복소수)로 점수를 예측합니다.
• 공유 엔터티 임베딩 E – C^{n x K}와 관계별 임베딩 w_r – C^K를 사용합니다.
• 다중 관계 데이터를 로짓링크로 표현합니다: P(Y_{rso}=1) = sigmoid(<w_r, e_s, ϵr e_o>).
• 복소 분해의 실수부만으로도 비대칭성을 보존하면서 실수 점수를 근사하는 데 충분하다고 설명합니다.
• 헤르미티안 곱을 통해 대칭 및 비대칭 관계를 처리하고, 공간 및 시간 복잡도는 선형이라고 주장합니다.
• 구현을 용이하게 하기 위한 동등한 실수형 표현을 제공합니다.

실험 결과

연구 질문

• RQ1 헤르미티안 내적을 가진 복소수 임베딩이 지식 그래프의 대칭 및 비대칭 관계를 함께 모델링할 수 있을까요?
• RQ2 표준 링크 예측 벤치마크에서 ComplEx 임베딩이 실수형 기준선(DistMult, TransE, HolE 등)을 능가합니까?
• RQ3 이 접근법이 선형 시간 및 공간 복제로 웹 규모의 지식 기반에 확장 가능합니까?
• RQ4 비대칭 관계가 포함된 데이터셋(WN18 등)에서와 대칭 관계에서 모델의 성능은 어떠합니까?
• RQ5 실수형 재구성이 구현을 단순화하면서도 성능을 유지할 수 있을까요?

주요 결과

• ComplEx가 FB15K 및 WN18에서 필터링된 MRR 및 Hits@k 척도에서 최첨단 기준선보다 우수한 성능을 보입니다.
• 모델은 비대칭 관계를 정확하게 포착하여 이러한 패턴이 있는 데이터셋(예: WN18)에서 개선을 이끕니다.
• 복소 임베딩은 공간 및 시간이 선형인 간단하고 확장 가능한 내적 기반 합성을 가능하게 합니다.
• 실용 채택을 돕는 동등한 실수형 재구성이 제공되며, 복소수 산술이 필요하지 않습니다.
• 음수 샘플링과 로지스틱 손실을 사용한 학습이 데이터세트 전반에서 강력한 실증 성능을 제공합니다.