[논문 리뷰] Combining Two And Three-Way Embeddings Models for Link Prediction in Knowledge Bases

Alberto García-Durán, Antoine Bordes외 2명|arXiv (Cornell University)|2015. 06. 02.

Complex Network Analysis Techniques인용 수 10

한 줄 요약

이 논문은 두 방향(예: TransE)과 세 방향(예: Trigram) 지식 그래프 임bedding 모델을 이원적 훈련 과정—사전 훈련 이후 선형 조합 또는 미세 조정—을 통해 결합하는 새로운 링크 예측 모델인 Tatec를 제안한다. 높은 용량의 모델과 간단한 모델을 통합함으로써 Tatec는 네 가지 벤치마크에서 최신 기술 수준의 성능을 달성하며, 빈도가 높고 희귀한 관계 모두에서 개별 모델을 능가한다.

ABSTRACT

This paper tackles the problem of endogenous link prediction for Knowledge Base completion. Knowledge Bases can be represented as directed graphs whose nodes correspond to entities and edges to relationships. Previous attempts either consist of powerful systems with high capacity to model complex connectivity patterns, which unfortunately usually end up overfitting on rare relationships, or in approaches that trade capacity for simplicity in order to fairly model all relationships, frequent or not. In this paper, we propose Tatec a happy medium obtained by complementing a high-capacity model with a simpler one, both pre-trained separately and then combined. We present several variants of this model with different kinds of regularization and combination strategies and show that this approach outperforms existing methods on different types of relationships by achieving state-of-the-art results on four benchmarks of the literature.

연구 동기 및 목표

• 관계 빈도와 구조에 따라 크게 다름에도 불구하고 완전하지 않은 지식 기반에서 링크 예측의 과제를 해결한다.
• 특히 희귀 관계에 대해 모델 용량과 일반화 능력 사이의 상충 관계를 극복한다.
• 높은 용량과 단순한 임베딩 모델을 효과적으로 통합하여 다양한 관계 유형에서 성능을 향상시키는 통합 프레임워크를 개발한다.
• 하이브리드 모델의 맥락에서 정규화 기법(부드러운 vs. 딱딱한)과 조합 전략(선형 조합 vs. 미세 조정)의 효과를 평가한다.
• 다양한 데이터 특성을 가진 여러 벤치마크에서 제안된 방법의 유연성과 강건성을 입증한다.

제안 방법

• 지식 기반에서 별도의 임베딩 공간을 사용하여 두 방향(예: TransE) 및 세 방향(예: Trigram) 임베딩 모델을 별도로 사전 훈련한다.
• 사전 훈련 중에 모델 복잡도를 제어하고 과적합을 방지하기 위해 부드러운 또는 딱딱한 정규화를 적용한다.
• 최종 점수를 개별 모델 점수의 가중합으로 구성하는 선형 조합 전략을 통해 사전 훈련된 모델을 조합한다.
• 링크 예측 성능을 최적화하는 통합 목표 함수를 사용하여 통합 모델을 종단 간(end-to-end)으로 미세 조정한다.
• 두 단계 훈련 파이프라인을 사용한다: 먼저 개별 구성 요소를 사전 훈련한 후, 조합하고 미세 조정한다.
• 특히 빈도가 낮은 관계에 대해 일반화를 향상시키기 위해 개체 및 관계별 정규화 항목(예: L2, 마진 기반)을 통합한다.

실험 결과

연구 질문

• RQ1 높은 용량의 두 방향 모델과 단순한 세 방향 모델을 조합하면 다양한 관계 유형에서 링크 예측 성능을 향상시킬 수 있는가?
• RQ2 정규화 기법의 선택(부드러운 vs. 딱딱한)이 통합 모델의 성능에 상당한 영향을 미치는가?
• RQ3 사전 훈련된 모델의 선형 조합만으로는 충분한가, 아니면 통합 아키텍처의 종단 간 미세 조정이 더 나은 결과를 낼 수 있는가?
• RQ4 제안된 방법은 단독 모델에 비해 희귀 관계에서 어떻게 성능을 발휘하는가?
• RQ5 이 하이브리드 모델은 데이터 희소성과 관계 유형이 다양한 다른 지식 기반 벤치마크에서 효과적으로 일반화되는가?

주요 결과

• Tatec는 UMLS, Kinships, FB15k, SVO의 네 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, 개별 두 방향 및 세 방향 모델을 모두 능가한다.
• Tatec의 선형 조합 변형(Tatec-linear-comb)은 각 데이터셋에서 그리드 서치를 통해 최적의 초모수를 확보함으로써 일관되게 뛰어난 성능을 기록한다.
• 부드러운 정규화는 딱딱한 정규화보다 略적으로 더 좋은 성능을 내지만, 둘 다 효과적이며, 부드러운 정규화는 추가로 하나의 초모수가 필요하다.
• 모델은 단독 모델이 과적합이나 용량 부족로 성능이 떨어지는 희귀 관계 및 1:1 관계에서 성능 향상을 크게 이룬다.
• 두 단계 훈련 전략—사전 훈련 후 조합—은 처음부터 공동 훈련하는 것보다 더 우수한 일반화 성능을 이끈다.
• 제거 분석 결과, 개별 구성 요소를 사용하는 것보다 모델을 조합하는 것이 더 효과적이며, 특히 불균형한 데이터 분포를 다룰 때 유의미하게 뛰어난 성능을 발휘한다.