[논문 리뷰] Comprehensive Analysis of Negative Sampling in Knowledge Graph Representation Learning

Hidetaka Kamigaito, Katsuhiko Hayashi|arXiv (Cornell University)|2022. 06. 21.

Advanced Graph Neural Networks인용 수 9

한 줄 요약

이 논문은 지식 그래프 임bedding(KGE)에서 음성 샘플링(NS) 손실의 이론적 분석을 제공하며, TransE 및 RotatE와 같은 점수 범위가 유계인 모델는 ComplEx 및 DistMult와 같은 비유계 모델과는 다름을 보여준다. 저자들은 이론적으로 기반을 둔 서브샘플링 방법(Freq 및 Uniq)을 제안하여 FB15k-237, WN18RR, YAGO3-10에서 KGC 성능을 향상시켰으며, 실험 결과는 이론적 예측과 일치함을 확인하였다.

ABSTRACT

Negative sampling (NS) loss plays an important role in learning knowledge graph embedding (KGE) to handle a huge number of entities. However, the performance of KGE degrades without hyperparameters such as the margin term and number of negative samples in NS loss being appropriately selected. Currently, empirical hyperparameter tuning addresses this problem at the cost of computational time. To solve this problem, we theoretically analyzed NS loss to assist hyperparameter tuning and understand the better use of the NS loss in KGE learning. Our theoretical analysis showed that scoring methods with restricted value ranges, such as TransE and RotatE, require appropriate adjustment of the margin term or the number of negative samples different from those without restricted value ranges, such as RESCAL, ComplEx, and DistMult. We also propose subsampling methods specialized for the NS loss in KGE studied from a theoretical aspect. Our empirical analysis on the FB15k-237, WN18RR, and YAGO3-10 datasets showed that the results of actually trained models agree with our theoretical findings.

연구 동기 및 목표

• 지식 그래프 임bedding(KGE)에서 음성 샘플링(NS) 손실의 행동을 이론적으로 분석하고, 특히 마진 항과 음성 샘플의 정규화의 역할을 집중적으로 다루는 것.
• TransE, RotatE와 같은 점수 범위가 유계인 KGE 모델들과 ComplEx, DistMult와 같은 비유계 범위의 모델들 간의 하이퍼파ram터 민감도의 차이를 규명하는 것.
• KGE에서 NS 손실을 위한 이론적 분석에 기반한 데이터 분포 및 손실 함수 행동을 바탕으로 특별히 설계된 서브샘플링 방법을 개발하는 것.
• 이론적 발견을 실증적으로 검증하고, 표준 KGE 벤치마크 데이터셋에서 제안된 서브샘플링 방법의 효과성을 평가하는 것.

제안 방법

• 점수 함수의 범위와 손실 함수의 구조 간의 상호작용에서 유도된, NS 손실에 대한 이론적 분석으로, 마진 항과 음성 샘플 정규화의 영향을 중심으로 다룸.
• 유계 점수 함수와 비유계 점수 함수에 대해 마진 항과 음성 샘플 수를 어떻게 별도로 조정해야 하는지에 대한 이론적 조건 유도.
• KGE에서 진짜 데이터 분포와 손실 함수 행동을 이론적으로 모델링한 바탕으로, Freq 및 Uniq라는 두 가지 새로운 서브샘플링 방법 제안.
• 현대 KGE 학습에서 일반적인 SANS(self-adversarial negative sampling) 손실을 사용하여 제안된 서브샘플링 방법의 구현 및 평가.
• MRR, Hits@1, Hits@3, Hits@10와 같은 표준 지표를 사용하여 FB15k-237, WN18RR, YAGO3-10 세 가지 벤치마크 데이터셋에서의 실증적 평가.
• 이론적 통찰에 기반한 하이퍼파ram터 튜닝을 수행하며, 균일 서브샘플링 및 기존 방법과의 성능 비교를 실시함.

실험 결과

연구 질문

• RQ1 KGE 모델에서 점수 함수의 유계성은 음성 샘플링 손실에서 마진 항과 음성 샘플 수의 최적 설정에 어떤 영향을 미치는가?
• RQ2 특히 word2vec에서 지식 그래프로 확장할 때, NS 손실에서 정규화와 마진 항의 효과적인 사용을 규정하는 이론적 원리는 무엇인가?
• RQ3 자기적 적대적 음성 샘플링을 고려할 때, NS 손실의 이론적 성질에 부합하는 방식으로 서브샘플링 방법을 설계하는 방법은 무엇인가?
• RQ4 이론적으로 유도된 서브샘플링 방법(Freq 및 Uniq)은 실제 세계 데이터셋에서 균일 또는 히우리스틱 기반 베이스라인에 비해 KGC 성능을 얼마나 향상시키는가?
• RQ5 유계 및 비유계 점수 모델 간의 이론적 구분은 다양한 KGE 모델과 데이터셋에서 실질적으로 유지되는가?

주요 결과

• TransE 및 RotatE와 같이 점수 범위가 유계인 모델는 ComplEx 및 DistMult와 같이 비유계 모델과는 다름을 보여주며, 마진 항과 음성 샘플 수에 대해 별도의 하이퍼파ram터 튜닝이 필요하다.
• 이론적 분석은 마진 항과 음성 샘플의 정규화가 KGE 학습에서 중립적이지 않으며, 점수 함수의 범위 성질에 따라 조정되어야 한다는 것을 확인한다.
• 데이터 분포의 이론적 모델링에 기반한 제안된 서브샘플링 방법 Freq 및 Uniq는 평가된 모든 데이터셋과 모델에서 베이스라인 균일 서브샘플링을 능가하거나 동등하게 유지한다.
• FB15k-237, WN18RR, YAGO3-10에서의 실증 결과는 MRR, Hits@1, Hits@3 및 종종 Hits@10을 향상시키며, 특히 저샘플링 및 희박한 설정에서 가장 큰 성과를 보였다.
• 서브샘플링 방법의 성능는 모델과 데이터셋에 따라 달라지며, 이는 모델별 편향 보정이 필요하고, 이론적 유도된 서브샘플링는 개발 세트에서의 실증적 검증과 함께 보완되어야 한다는 것을 시사한다.
• 이 연구는 NS 손실 행동에 대한 이론적 통찰이 효과적인 하이퍼파ram터 선택과 서브샘플링 설계를 이끌 수 있음을 확인하였으며, KGE 학습에서 비용이 많이 드는 실증적 튜닝에 대한 의존도를 줄일 수 있다.