[논문 리뷰] Toward Understanding The Effect of Loss Function on The Performance of Knowledge Graph Embedding

Mojtaba Nayyeri, Chengjin Xu외 3명|arXiv (Cornell University)|2019. 09. 25.

Advanced Graph Neural Networks참고 문헌 28인용 수 8

한 줄 요약

이 논문은 손실 함수의 선택이 지식 그래프 임bedding에서 TransE의 성능에 결정적인 영향을 미친다는 것을 드러내며, 이는 이전의 가정과는 달리 한정된 성능의 원인이 절대적으로 스코어 함수에 기인한다는 것이 아니라 손실 함수의 영향도 포함된다는 것을 시사한다. 이론적 분석과 실험적 검증을 통해 저자들은 적절한 손실 함수 선택이 TransE가 대칭성과 반사성과 같은 관계 패턴을 포착하는 데에 있어 약점을 효과적으로 완화시킬 수 있음을 보여준다.

ABSTRACT

Knowledge graphs (KGs) represent world's facts in structured forms. KG completion exploits the existing facts in a KG to discover new ones. Translation-based embedding model (TransE) is a prominent formulation to do KG completion. Despite the efficiency of TransE in memory and time, it suffers from several limitations in encoding relation patterns such as symmetric, reflexive etc. To resolve this problem, most of the attempts have circled around the revision of the score function of TransE i.e., proposing a more complicated score function such as Trans(A, D, G, H, R, etc) to mitigate the limitations. In this paper, we tackle this problem from a different perspective. We show that existing theories corresponding to the limitations of TransE are inaccurate because they ignore the effect of loss function. Accordingly, we pose theoretical investigations of the main limitations of TransE in the light of loss function. To the best of our knowledge, this has not been investigated so far comprehensively. We show that by a proper selection of the loss function for training the TransE model, the main limitations of the model are mitigated. This is explained by setting upper-bound for the scores of positive samples, showing the region of truth (i.e., the region that a triple is considered positive by the model). Our theoretical proofs with experimental results fill the gap between the capability of translation-based class of embedding models and the loss function. The theories emphasise the importance of the selection of the loss functions for training the models. Our experimental evaluations on different loss functions used for training the models justify our theoretical proofs and confirm the importance of the loss functions on the performance.

연구 동기 및 목표

• TransE가 대칭적이고 반사적인 관계와 같은 복잡한 관계 패턴을 포착하지 못하는 이유를 규명하는 것.
• TransE의 한계가 스코어 함수에서 기인한다는 기존의 관념을 도전하는 것, 즉 손실 함수의 영향도 포함된다는 점을 입증하는 것.
• 다양한 손실 함수가 스코어 함수의 정확성에 영향을 주는 방식을 이론적으로 분석하는 것.
• 스코어 함수를 수정하지 않고도 손실 함수 선택을 통해 TransE의 핵심 한계를 완화시킬 수 있음을 보여주는 것.
• 번역 기반 모델의 이론적 잠재력과 손실 함수가 훈련 과정에서 수행하는 역할 사이의 격차를 메우는 것.

제안 방법

• 손실 함수가 TransE 성능에 미치는 영향을 분석하기 위한 이론적 프레임워크를 제안하며, 양성 트리플 스코어의 상한선을 중심으로 분석한다.
• 모델이 트리플을 양성으로 분류하는 임베딩 집합을 '진실의 영역'으로 정의한다.
• 이론적 증명을 통해 특정 손실 함수가 스코어 분포를 제약하여 양성 샘플이 바람직한 영역 내에 국한되도록 한다.
• 손실 함수 선택과 관계 패턴에 대한 일반화 능력 간의 공식적 분석을 도입한다.
• 다양한 표준 지식 그래프 벤치마크에서 제어된 실험을 수행하여 다양한 손실 함수의 성능을 평가한다.
• Mean Reciprocal Rank (MRR)와 Hits@10와 같은 성능 지표를 측정하여 이론적 주장의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 손실 함수의 선택이 TransE의 대칭적이고 반사적인 관계를 모델링하는 능력에 어떻게 영향을 미치는가?
• RQ2 기존 TransE의 한계에 대한 이론이 왜 손실 함수의 역할을 고려하지 못하는가?
• RQ3 적절한 손실 함수가 TransE 스코어 함수의 본질적 한계를 상쇄시킬 수 있는가?
• RQ4 손실 함수와 지식 그래프 임베딩에서의 진실의 영역 간의 이론적 관계는 무엇인가?
• RQ5 스코어 함수를 수정하지 않고 손실 함수 선택이 성능 향상에 얼마나 기여할 수 있는가?

주요 결과

• 이론적 분석 결과, 손실 함수가 양성 트리플의 스코어 상한선을 직접 제어하며, 진실의 영역을 형성한다.
• 마진 기반 순위 손실 및 시그모이드 기반 손실과 같은 손실 함수들이 대칭적이고 반사적인 관계에서 성능을 크게 향상시킨다.
• 실험 결과, 동일한 스코어 함수를 사용하더라도 다양한 손실 함수 간 성능 격차가 뚜렷하게 나타난다.
• 기존의 가정과는 달리, 손실 함수 선택이 TransE가 복잡한 관계 패턴을 포착하지 못하는 문제를 완화시킬 수 있음을 확인한다.
• 이론적 통찰은 일부 손실 함수가 더 나은 일반화 능력을 유도하고 MRR 및 Hits@10 점수를 향상시키는 이유를 설명한다.
• 본 연구는 번역 기반 지식 그래프 임베딩 모델에서 손실 함수의 역할에 대한 이해 격차를 해소한다.