[논문 리뷰] On Multi-Relational Link Prediction with Bilinear Models

Yanjie Wang, Rainer Gemulla외 1명|arXiv (Cornell University)|2017. 09. 14.

Advanced Graph Neural Networks인용 수 45

한 줄 요약

이 논문은 다중관계 링크 예측을 위한 이차형 모델을 조사하며, RESCAL, DISTMULT, HolE, ComplEx 등의 모델이 제약 조건이 있는 이차형 모델의 특수 케이스임을 입증한다. 이들 모델 간의 포함 관계를 설정하고, 특정 조건 하에서의 보편성(universality)을 증명하며, 이러한 모델의 관계 수준 앙상블이 표준 벤치마크에서 최신 기술 수준의 성능을 달성함을 보여준다.

ABSTRACT

We study bilinear embedding models for the task of multi-relational link prediction and knowledge graph completion. Bilinear models belong to the most basic models for this task, they are comparably efficient to train and use, and they can provide good prediction performance. The main goal of this paper is to explore the expressiveness of and the connections between various bilinear models proposed in the literature. In particular, a substantial number of models can be represented as bilinear models with certain additional constraints enforced on the embeddings. We explore whether or not these constraints lead to universal models, which can in principle represent every set of relations, and whether or not there are subsumption relationships between various models. We report results of an independent experimental study that evaluates recent bilinear models in a common experimental setup. Finally, we provide evidence that relation-level ensembles of multiple bilinear models can achieve state-of-the art prediction performance.

연구 동기 및 목표

• 다양한 이차형 모델들이 다중관계 링크 예측에서 얼마나 표현력이 강한지, 그리고 상호 간의 구조적 관계를 분석하는 것.
• 이들 모델가 어떤 조건에서 보편적(즉, 임의의 엔티티 순위를 표현할 수 있는)이 되는지 규명하는 것.
• 여러 데이터셋에서 표준화된 실험 환경을 통해 이들 모델의 상대적 성능을 평가하는 것.
• 관계 수준에서 여러 이차형 모델을 앙상블하는 것이 개별 모델을 초월해 예측 성능을 향상시킬 수 있는지 조사하는 것.

제안 방법

• RESCAL, DISTMULT, HolE, ComplEx, TransE 등의 주요 이차형 모델을 특정 매개변수 제약 조건을 가진 일반 이차형 모델의 사례로 수식화하는 것.
• 각 모델 클래스의 보편성 조건을 유도하고, 이를 통해 스코어 텐서나 순위 행렬을 어떤 경우에도 표현할 수 있는지 분석하는 것.
• 한 모델의 매개변수를 다른 모델로 변환하는 명시적 변환을 통해 포함 관계를 설정하며, 때로는 임bedding 크기를 늘려야 할 수 있음.
• 일관된 학습 및 평가 프로토콜을 사용하여 표준 지식 그래프 보완 벤치마크(FB15k, YAGO3-10 등)에서 독립적인 실험 평가를 수행하는 것.
• 각 관계별로 다수의 이차형 모델 예측을 조합하는 관계 수준 앙상블 방법을 제안하고 평가하는 것.
• MR, MRR, HITS@10 등의 순위 기반 평가 지표를 사용하여 개별 모델과 앙상블 모델을 최신 기술 수준의 접근법과 비교하는 것.

실험 결과

연구 질문

• RQ1 어떤 이차형 모델이 보편적이며, 임베딩 크기와 매개변수 제약 조건에서 어떤 조건을 충족해야 하는가?
• RQ2 다른 이차형 모델들 간의 포함 관계는 무엇이며, 한 모델 클래스가 다른 모델의 모든 사례를 표현할 수 있는가?
• RQ3 표준 지식 그래프에서 다양한 관계에 따라 개별 이차형 모델의 성능는 어떻게 변하는가?
• RQ4 다수의 이차형 모델을 관계 수준에서 앙상블하면 지식 그래프 보완 작업에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 모든 주요 이차형 모델(RESCAL, DISTMULT, HolE, ComplEx)은 특정 제약 조건(예: 대각 행렬 또는 복소수 매개변수)을 가진 일반 이차형 모델의 특수 사례로 표현될 수 있음.
• RESCAL은 임베딩 크기 r ≥ N 일 때 보편적이며, 다른 모델들은 보편성을 달성하기 위해 더 큰 r 가 필요하며, 각 모델에 대해 상한선이 유도됨.
• 포함 관계가 존재함: 예를 들어, 복소수 임베딩을 사용할 경우 ComplEx는 DISTMULT를 시뮬레이션할 수 있으며, HolE는 이차형 형태의 원형 상관관계 변형으로 볼 수 있음.
• 개별 모델의 성능는 관계에 따라 크게 달라지며, 어떤 모델도 모든 관계에서 일관되게 우수한 성능를 보이지 않음.
• 제안된 관계 수준 앙상블은 FB15k와 YAGO3-10에서 최신 기술 수준의 성능를 달성하며, 개별 모델과 비이차형 최신 기술 수준 방법을 모두 초월함.
• 앙상블 방법은 MRR 및 HITS@10 점수를 크게 향상시켜, 다양한 관계 유형과 데이터셋에서 일관된 성능 향상을 보임.