[논문 리뷰] Analyzing Knowledge Graph Embedding Methods from a Multi-Embedding Interaction Perspective

Hung Tran, Atsuhiro Takasu|arXiv (Cornell University)|2019. 03. 27.

Advanced Graph Neural Networks참고 문헌 31인용 수 7

한 줄 요약

이 논문은 DistMult, ComplEx, CP와 같은 최신 지식 그래프 임베딩 모델을 일반화하고 분석하기 위해 통합된 다중 임베딩 상호작용 메커니즘을 제안한다. 다양한 임베딩 벡터의 가중합으로 상호작용를 모델링함으로써 이 프레임워크는 이론적 통합과 실증적 비교를 가능하게 하며, 결과적으로 기존 방법들을 능가하는 새로운 허수기반 사차원 임베딩 모델을 도출한다. 특히 Hits@10 성능에서 뛰어난 성능을 보인다.

ABSTRACT

Knowledge graph is a popular format for representing knowledge, with many applications to semantic search engines, question-answering systems, and recommender systems. Real-world knowledge graphs are usually incomplete, so knowledge graph embedding methods, such as Canonical decomposition/Parallel factorization (CP), DistMult, and ComplEx, have been proposed to address this issue. These methods represent entities and relations as embedding vectors in semantic space and predict the links between them. The embedding vectors themselves contain rich semantic information and can be used in other applications such as data analysis. However, mechanisms in these models and the embedding vectors themselves vary greatly, making it difficult to understand and compare them. Given this lack of understanding, we risk using them ineffectively or incorrectly, particularly for complicated models, such as CP, with two role-based embedding vectors, or the state-of-the-art ComplEx model, with complex-valued embedding vectors. In this paper, we propose a multi-embedding interaction mechanism as a new approach to uniting and generalizing these models. We derive them theoretically via this mechanism and provide empirical analyses and comparisons between them. We also propose a new multi-embedding model based on quaternion algebra and show that it achieves promising results using popular benchmarks. Source code is available on GitHub at https://github.com/tranhungnghiep/AnalyzeKGE.

연구 동기 및 목표

• 실수형, 복소수형, 또는 역할 기반의 벡터 등 다양한 구조를 가진 지식 그래프 임베딩 모델들 간의 통합된 이해 부족 문제를 해결하기 위해.
• DistMult, ComplEx, CP, CP h와 같은 기존 모델들을 하나의 다중 임베딩 상호작용 메커니즘으로 통합하는 일반화 가능한 이론적 프레임워크를 제공하기 위해.
• 다양한 모델의 성질, 즉 상호작용의 안정성, 구별 가능성, 완전성 등을 실증적으로 분석하고 비교하기 위해.
• 다중 임베딩 프레임워크를 확장하여 강력한 실증적 성능을 달성하는 새로운 허수기반 사차원 임베딩 상호작용 모델을 설계하고 평가하기 위해.
• 다중 임베딩 상호작용을 위한 최적의 가중치 벡터를 자동으로 학습하는 데의 과제, 특히 대칭적 기울기 붕괴를 방지하는 데 도전하는 데 초점 맞추기

제안 방법

• 각 실체와 관계가 다수의 임베딩 벡터로 표현되며, 매칭 점수는 이러한 벡터들 간의 삼중선형 곱의 가중합으로 계산되는 다중 임베딩 상호작용 메커니즘을 제안한다.
• 제안된 가중합 상호작용 메커니즘의 특수한 경우로 기존 모델들의 점수 함수를 표현함으로써 이론적 프레임워크를 도입하여 기존 모델들을 일반화한다.
• 수학적 분석을 통해 효과적인 가중치 벡터를 정의하기 위한 세 가지 핵심 성질을 도입한다: 완전성(모든 임베딩 포함), 안정성(동일 유형의 임베딩에서 동일한 기여), 구별 가능성(다른 삼중항에 대해 비대칭 점수).
• 각 실체와 관계가 네 개의 허수형 벡터로 표현되는 허수기반 사차원 임베딩 상호작용 모델을 설계하여 실수형 또는 복소수형 임베딩보다 더 풍부한 상호작용 모델링을 가능하게 한다.
• 활성화 함수(예: tanh, sigmoid, softmax)와 정규화 기법(L1, Dirichlet NLL)을 다양하게 적용하여 엔드 투 엔드 학습을 수행함으로써 가중치 벡터를 자동으로 학습하고, 기울기 대칭성과 국소 최적점과 같은 과제를 분석한다.
• 표준 지식 그래프 벤치마크 데이터셋(FB15k, WN18 등)을 사용하여 실증적 평가를 수행하고, Hits@10, 평균 역수 순위(MRR), Hits@1과 같은 지표를 통해 다양한 모델 간 성능을 비교한다.

실험 결과

연구 질문

• RQ1 실수형, 복소수형, 역할 기반 등 다양한 임베딩 벡터 구조를 가진 지식 그래프 임베딩 모델들을 하나의 상호작용 메커니즘으로 이론적으로 통합할 수 있는가?
• RQ2 완전성, 안정성, 구별 가능성 등과 같은 성질들이 다중 임베딩 상호작용 모델에서 효과적인 가중치 벡터를 특징짓는 데 어떤 역할을 하는가?
• RQ3 제안된 새로운 허수기반 사차원 임베딩 상호작용 모델이 표준 지식 그래프 완성 벤치마크에서 ComplEx 및 CP h와 같은 최신 기술 모델을 능가할 수 있는가?
• RQ4 다중 임베딩 상호작용을 위한 최적의 가중치 벡터를 자동으로 학습하는 것이 특히 어려운 이유는 무엇이며, 기울기 대칭성과 국소 최적점에 기여하는 요소는 무엇인가?
• RQ5 제안된 모델이 히우리스틱적 데이터 증강 기법을 사용할 때도 알려진 문제인 과적합을 어느 정도 완화하는가?

주요 결과

• 제안된 다중 임베딩 상호작용 메커니즘은 DistMult, ComplEx, CP, CP h 등의 기존 모델들을 가중합 프레임워크의 특수한 경우로 표현함으로써 성공적으로 통합하고 일반화하였다.
• 허수기반 사차원 임베딩 상호작용 모델은 표준 벤치마크에서 뛰어난 성능을 보였으며, 특히 Hits@10에서 ComplEx 및 CP h와 같은 최신 기술 모델을 능가했다.
• 학습 데이터에서 높은 성능을 보였으며, Hits@10이 1.000에 도달하여 과적합의 가능성을 시사했고, 이는 향상된 정규화 기법이 필요함을 시사한다.
• 가중치 벡터의 자동 학습은 대칭 기울기로 인해 어려웠으며, 활성화 함수나 L1/Dirichlet 정규화의 유무에 관계없이 모델이 거의 균일한 가중치로 수렴함을 확인하여 근본적인 대칭성 문제를 확인했다.
• 이론적 분석을 통해 효과적인 가중치 벡터는 완전성, 안정성, 구별성을 만족해야 하며, 이 성질들은 복소수형 모델인 ComplEx가 복소평면에서의 회전 불변성 덕분에 자연스럽게 만족함을 확인했다.
• 실증 결과는 히우리스틱 기반 모델인 CP h가 내재적 우수성 덕분에 경쟁 성능을 내는 것이 아니라, 추가적인 임베딩 벡터를 효과적으로 활용하기 때문에 경쟁력 있는 성능을 내는 것으로 나타났으며, 제안된 프레임워크는 이를 일반화하고 확장할 수 있음을 보여주었다.