[논문 리뷰] Adaptive Margin Ranking Loss for Knowledge Graph Embeddings via a Correntropy Objective Function

Mojtaba Nayyeri, Xiaotian Zhou외 3명|arXiv (Cornell University)|2019. 07. 09.

Advanced Graph Neural Networks참고 문헌 20인용 수 4

한 줄 요약

이 논문은 지식 그래프 임bedding 모델을 위한 새로운 손실 함수인 적응형 마진 손실(Adaptive Margin Loss, AML)을 제안한다. AML은 훈련 중에 코르렌토피 기반 목적함수를 사용해 마진을 자동으로 조정한다. 학습 가능한 중심 주위의 마진을 동적으로 확장함으로써, 상한과 하한에 대한 수동적인 하이퍼파라미터 튜닝이 필요 없어지며, FB15k와 WN18에서 링크 예측 성능이 크게 향상된다. 각각 Hit@10 점수는 77.7%와 95.2%를 기록한다.

ABSTRACT

Translation-based embedding models have gained significant attention in link prediction tasks for knowledge graphs. TransE is the primary model among translation-based embeddings and is well-known for its low complexity and high efficiency. Therefore, most of the earlier works have modified the score function of the TransE approach in order to improve the performance of link prediction tasks. Nevertheless, proven theoretically and experimentally, the performance of TransE strongly depends on the loss function. Margin Ranking Loss (MRL) has been one of the earlier loss functions which is widely used for training TransE. However, the scores of positive triples are not necessarily enforced to be sufficiently small to fulfill the translation from head to tail by using relation vector (original assumption of TransE). To tackle this problem, several loss functions have been proposed recently by adding upper bounds and lower bounds to the scores of positive and negative samples. Although highly effective, previously developed models suffer from an expansion in search space for a selection of the hyperparameters (in particular the upper and lower bounds of scores) on which the performance of the translation-based models is highly dependent. In this paper, we propose a new loss function dubbed Adaptive Margin Loss (AML) for training translation-based embedding models. The formulation of the proposed loss function enables an adaptive and automated adjustment of the margin during the learning process. Therefore, instead of obtaining two values (upper bound and lower bound), only the center of a margin needs to be determined. During learning, the margin is expanded automatically until it converges. In our experiments on a set of standard benchmark datasets including Freebase and WordNet, the effectiveness of AML is confirmed for training TransE on link prediction tasks.

연구 동기 및 목표

• 번역 기반 지식 그래프 임베딩 모델이 수동으로 튜닝된 마진 하이퍼파라미터에 민감한 문제를 해결하기 위해.
• 양성 및 음성 삼중항 점수의 상한과 하한을 설정하기 위한 광범위한 하이퍼파라미터 검색이 필요 없도록 하기 위해.
• 훈련 중에 마진을 자동으로 적응시키는 손실 함수를 개발하여 모델의 일반화 능력과 성능을 향상시키기 위해.
• 더 적응적인 최적화 과정을 통해 TransE 및 유사 모델의 링크 예측 작업에서의 강건성과 효능을 향상시키기 위해.

제안 방법

• 학습 가능한 파라미터 중심의 확률적 분포로 마진을 모델링하는 코르렌토피 기반 목적함수를 제안한다.
• 훈련 중에 마진을 동적으로 확장하는 슬랙 변수를 도입하여, 양성 삼중항이 충분히 낮은 점수를 받도록 보장한다.
• 기존 손실 함수에서 고정된 마진 범위를 학습 가능한 중심 파라미터 하나로 대체함으로써 하이퍼파라미터 검색 공간을 축소한다.
• 표준 최적화기(예: Adam, Adagrad)와 함께 사용 가능한 미분 가능한 손실 공식을 사용한다.
• TransE에 손실 함수를 적용하여, 최적화 과정에서 마진 폭을 자동으로 조정하는 TransEAML을 도입한다.
• 대칭적인 마진 조정 전략을 적용하여, 양성 및 음성 샘플 점수에 동일한 슬랙을 추가함으로써 강건성을 유지한다.

실험 결과

연구 질문

• RQ1 훈련 중에 마진을 자동으로 적응시키는 손실 함수를 설계할 수 있는가? 이는 수동적인 하이퍼파라미터 튜닝에 대한 의존도를 줄일 수 있는가?
• RQ2 적응형 마진 메커니즘이 표준 벤치마크에서 번역 기반 지식 그래프 임베딩 모델의 성능을 향상시키는가?
• RQ3 고정 마진 및 범위 점수 손실 함수와 비교할 때, 제안된 코르렌토피 기반 목적함수의 링크 예측 정확도는 어떻게 되는가?
• RQ4 하이퍼파라미터 검색 공간의 감소가 훈련 효율성과 모델 안정성 향상에 어느 정도 기여하는가?

주요 결과

• WN18 벤치마크에서 TransEAML은 Hit@10 점수 95.2%를 기록하여, 마진 순서 정렬 손실(Margin Ranking Loss, MRL)을 사용한 TransE(89.2%)와 한계 점수 손실(Limited-Score Loss)을 사용한 TransE(93.7%)를 크게 앞서며 성능을 뛰어넘었다.
• FB15k에서 TransEAML은 Hit@10 77.7%를 달성했으며, MRL을 사용한 TransE(47.1%)와 한계 점수 손실을 사용한 TransE(72.3%)보다 뚜렷한 향상을 보였다.
• 제안된 AML 손실 함수는 상한 및 하한 점수 경계에 대한 수동 튜닝이 크게 줄어들어 하이퍼파라미터 선택을 단순화한다.
• 코르렌토피 기반 목적함수의 사용으로 훈련 중 마진이 자동으로 확장되며, 양성 및 음성 삼중항 간의 분리가 향상된다.
• 실험 결과는 적응형 마진 메커니즘이 여러 표준 지식 그래프 벤치마크에서 모델의 일반화 능력과 강건성을 향상시킨다는 것을 확인한다.
• 단지 마진 중심 하나만을 튜닝 가능한 파라미터로 사용함으로써, 최소한의 하이퍼파라미터 검색으로도 높은 성능을 유지한다.