[논문 리뷰] Knowledge graph completion via complex tensor factorization

Théo Trouillon, Christopher R. Dance외 4명|arXiv (Cornell University)|2017. 01. 01.

Advanced Graph Neural Networks참고 문헌 45인용 수 207

한 줄 요약

이 논문은 복소수 임bed딩과 헤르미트 내적을 사용하는 간단하면서도 표현력 있는 지식 그래프 보완 방법을 제안하며, 선형 시간 및 공간 복잡도를 유지하면서도 링크 예측 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다. 이론적으로 모든 실수 정방행렬이 유니터리 대각화 가능한 행렬의 실수부임을 증명하여, 행렬 분해 기법의 적용 범위를 넓힐 수 있다.

ABSTRACT

In statistical relational learning, knowledge graph completion deals with automatically understanding the structure of large knowledge graphs--labeled directed graphs-- and predicting missing relationships--labeled edges. State-of-the-art embedding models propose different trade-offs between modeling expressiveness, and time and space complexity. We reconcile both expressiveness and complexity through the use of complex-valued embeddings and explore the link between such complex-valued embeddings and unitary diagonalization. We corroborate our approach theoretically and show that all real square matrices--thus all possible relation/adjacency matrices--are the real part of some unitarily diagonalizable matrix. This results opens the door to a lot of other applications of square matrices factorization. Our approach based on complex embeddings is arguably simple, as it only involves a Hermitian dot product, the complex counterpart of the standard dot product between real vectors, whereas other methods resort to more and more complicated composition functions to increase their expressiveness. The proposed complex embeddings are scalable to large data sets as it remains linear in both space and time, while consistently outperforming alternative approaches on standard link prediction benchmarks.

연구 동기 및 목표

• 지식 그래프 보완에서 표현력과 계산 복잡도 사이의 상충 관계를 해결하기 위해.
• 관계 구조를 표현하는 데 있어 복소수 임베딩의 이론적 및 실용적 이점을 탐색하기 위해.
• 복소수 임베딩이 최소한의 계산 오버헤드로도 높은 성능을 달성할 수 있음을 보여주기 위해.
• 복소수 임베딩과 실수 행렬의 유니터리 대각화 간 이론적 기반을 구축하기 위해.
• 기존 임베딩 모델에서 점점 더 복잡해지는 조합 함수의 대안으로서 확장 가능한 방법을 제공하기 위해.

제안 방법

• 모델은 실수부와 허수부를 모두 갖는 복소수 임베딩을 사용하며, 관계는 헤르미트 내적으로 모델링된다.
• 모든 실수 정방행렬이 유니터리 대각화 가능한 행렬의 실수부로 표현될 수 있다는 수학적 성질을 활용한다.
• 엔티티 및 관계 임베딩 간 헤르미트 내적의 실수부를 기반으로 한 스코어링 함수를 사용한다.
• 선형 시간 및 공간 복잡도를 확보하여 대규모 지식 그래프에 효율적으로 스케일링된다.
• 복소수 임베딩의 내재된 표현력을 바탕으로 복잡한 조합 함수를 회피한다.
• 이론적 분석을 통해 모델이 유니터리 대각화를 통해 모든 가능한 인cidencematrices를 표현할 수 있음을 확인한다.

실험 결과

연구 질문

• RQ1 복소수 임베딩은 계산 복잡도를 증가시키지 않으면서도 높은 표현력을 달성할 수 있는가?
• RQ2 복소수 임베딩과 실수 행렬의 유니터리 대각화 사이에 이론적 연결 고리가 존재하는가?
• RQ3 복잡한 조합 함수보다 단순한 헤르미트 내적 기반 모델이 지식 그래프 보완에서 더 나은 성능을 낼 수 있는가?
• RQ4 제안된 방법은 링크 예측 성능 향상과 함께 확장성도 유지하는가?
• RQ5 모든 실수 정방행렬은 어떤 유니터리 대각화 가능한 행렬의 실수부로 표현될 수 있는가?

주요 결과

• 모든 실수 정방행렬은 어떤 유니터리 대각화 가능한 행렬의 실수부로 표현 가능하며, 이는 제안된 방법의 강력한 이론적 기반을 확립한다.
• 제안된 모델은 표준 링크 예측 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.
• 모델은 선형 시간 및 공간 복잡도를 유지하여 대규모 지식 그래프에 대한 확장성을 보장한다.
• 복소수 임베딩과 헤르미트 내적의 사용은 복잡한 조합 함수가 없더라도 충분한 표현력을 제공한다.
• 이론적 접근은 점점 더 복잡한 상호작용 메커니즘에 의존하는 기존 모델들을 일관되게 능가한다.
• 이론적 결과는 행렬 분해 기법을 다양한 정방행렬 문제에 적용할 수 있는 새로운 길을 열어준다.