[논문 리뷰] MDE: Multiple Distance Embeddings for Link Prediction in Knowledge Graphs

Afshin Sadeghi, Damien Graux외 2명|arXiv (Cornell University)|2019. 05. 25.

Advanced Graph Neural Networks참고 문헌 37인용 수 8

한 줄 요약

MDE는 대칭, 반대, 역관계 및 복합 관계 패턴을 포착하기 위해 다수의 독립적인 거리 기반 항목을 사용하는 지식 그래프 임베딩 모델을 제안한다. 이는 TransE 및 유사 모델의 한계를 극복한다. 한계 기반 손실과 신경망 아키텍처를 활용함으로써 MDE는 링크 예측 벤치마크에서 최신 기술 수준의 성능을 달성하며, 특히 FB15k-237에서 복합 패턴 모델링에 뛰어난 성능을 보인다.

ABSTRACT

Over the past decade, knowledge graphs became popular for capturing structured domain knowledge. Relational learning models enable the prediction of missing links inside knowledge graphs. More specifically, latent distance approaches model the relationships among entities via a distance between latent representations. Translating embedding models (e.g., TransE) are among the most popular latent distance approaches which use one distance function to learn multiple relation patterns. However, they are mostly inefficient in capturing symmetric relations since the representation vector norm for all the symmetric relations becomes equal to zero. They also lose information when learning relations with reflexive patterns since they become symmetric and transitive. We propose the Multiple Distance Embedding model (MDE) that addresses these limitations and a framework to collaboratively combine variant latent distance-based terms. Our solution is based on two principles: 1) we use a limit-based loss instead of a margin ranking loss and, 2) by learning independent embedding vectors for each of the terms we can collectively train and predict using contradicting distance terms. We further demonstrate that MDE allows modeling relations with (anti)symmetry, inversion, and composition patterns. We propose MDE as a neural network model that allows us to map non-linear relations between the embedding vectors and the expected output of the score function. Our empirical results show that MDE performs competitively to state-of-the-art embedding models on several benchmark datasets.

연구 동기 및 목표

• 지식 그래프에서 TransE 및 유사 모델이 대칭, 역관계 및 복합 관계 패턴을 효과적으로 포착하지 못하는 문제를 해결한다.
• 기존의 거리 기반 모델에서 대칭 관계에 대한 영벡터 표현 문제와 반사 관계의 강제 대칭성/전이성 문제를 해결한다.
• 다양한 독립적인 거리 항목을 통합하는 유일한 프레임워크를 개발하여 일반화 능력과 표현력을 향상시킨다.
• 한계 기반 손실의 신경망 기반 공식화를 도입하여 마진 임계값의 비선형 패턴을 학습함으로써 모델의 유연성을 향상시킨다.
• 각 거리 항목에 대해 독립적인 벡터 표현을 유지할 경우 성능 저하가 발생하지 않으며, 오히려 모델링 능력과 링크 예측 정확도가 향상됨을 입증한다.

제안 방법

• 다양한 거리 항목(S1–S4)에 대해 별도의 임베딩 벡터를 유지하는 번역 기반 모델인 다중 거리 임베딩(MDE)을 제안함으로써, 서로 다른 관계 패턴을 독립적으로 모델링할 수 있도록 한다.
• 마진 순위 손실 대신 한계 기반 손실 함수를 사용하며, 학습 중 동적으로 업데이트되는 한계 값을 통해 일반화 능력을 향상시킨다.
• 손실 함수를 신경망 아키텍처 내에 통합하여 한계 값의 비선형 학습을 가능하게 하여 복잡한 관계 구조에 대한 적응력을 높인다.
• 대규모 지식 그래프에서 특히 딱딱한 음성 샘플의 커버리지와 학습 안정성을 향상시키기 위해 자기 적대적 음성 샘플링을 통합한다.
• 대칭, 반대칭, 역관계 패턴을 포함한 엔티티-관계 관계의 다양한 기하학적 시각을 반영하는 다수의 점수 함수(S1–S4)를 조합한다.
• 모든 구성 요소를 동시에 최적화할 수 있도록 백프로파게이션을 사용해 엔드 투 엔드로 모델을 훈련시키며, 동시에 각 항목의 해석 가능성은 유지한다.

실험 결과

연구 질문

• RQ1 지식 그래프 임베딩 모델에서 다수의 독립적인 거리 항목이 단일 거리 모델 대비 대칭, 반대칭, 역관계 및 복합 관계 패턴의 모델링 능력을 향상시키는가?
• RQ2 고정된 마진 순위 손실 대비 가변적인, 고정되지 않은 한계를 사용할 경우, 손실 함수의 성능과 일반화 능력이 향상되는가?
• RQ3 다른 거리 항목에 대해 독립적인 벡터 표현이 함께 존재할 경우 성능 저하가 발생하지 않으며, 이들이 함께 링크 예측 정확도를 향상시키는가?
• RQ4 한계 기반 손실의 신경망 기반 공식화가 관계 구조의 복잡한 비선형 패턴을 학습하는 데 기여하는가?
• RQ5 특히 복합 패턴 추론을 테스트하기 위해 설계된 벤치마크에서 MDE는 최신 기술 수준의 모델을 얼마나 뛰어넘는가?

주요 결과

• MDE는 FB15k-237 벤치마크에서 최신 기술 수준의 모델을 초월하며, 특히 복합 패턴 모델링에서 뛰어난 성능을 보이며, Hit@10 점수는 0.946, MRR는 0.844를 기록했다.
• 제거 실험 결과 S4(반대칭 패턴 모델링)를 제거할 경우 성능에 가장 부정적인 영향을 미치며, 이는 S4가 모델 성공에 핵심적인 역할을 함을 시사한다.
• S4는 단독으로 WN18RR 및 FB15k-237에서 가장 높은 개별 성능을 기록했으며, Hit@10은 각각 0.467, MRR는 0.273였다.
• 자기 적대적 음성 샘플링 적용으로 MRR 및 Hit@10 점수가 향상되었으며, 이는 FB15k-237에서 딱딱한 음성 샘플의 커버리지가 향상되었기 때문이다.
• S2는 개별적으로 성능이 가장 열악했지만, 제거해도 성능 저하가 발생함을 통해 다른 항목이 포착하지 못하는 희귀하지만 유용한 관계 패턴을 포착하고 있음을 시사한다.
• 자기 적대적 샘플링을 통합한 MDE(즉, MDE adv)는 FB15k-237에서 RotatE 및 기타 최신 기술 수준 모델을 뛰어넘는 결과를 기록했으며, 특히 MRR 및 Hit@10 지표에서 뛰어난 성능을 보였다.