[논문 리뷰] Efficient, Simple and Automated Negative Sampling for Knowledge Graph Embedding

Yongqi Zhang, Quanming Yao외 1명|arXiv (Cornell University)|2020. 10. 24.

Advanced Graph Neural Networks참고 문헌 70인용 수 4

한 줄 요약

이 논문은 지식 그래프 임bedding를 위한 새로운 부정 샘플링 방법인 NSCaching을 제안한다. 이 방법은 학습 효율성과 성능을 향상시키기 위해 고기울기 부정 트리플릿의 캐시를 동적으로 유지한다. 캐시 관리에서 탐색과 이용의 균형을 자동화된 기계학습을 통해 조정함으로써, 모델 복잡도를 증가시키지 않으면서도 다양한 모델과 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Negative sampling, which samples negative triplets from non-observed ones in knowledge graph (KG), is an essential step in KG embedding. Recently, generative adversarial network (GAN), has been introduced in negative sampling. By sampling negative triplets with large gradients, these methods avoid the problem of vanishing gradient and thus obtain better performance. However, they make the original model more complex and harder to train. In this paper, motivated by the observation that negative triplets with large gradients are important but rare, we propose to directly keep track of them with the cache. In this way, our method acts as a "distilled" version of previous GAN-based methods, which does not waste training time on additional parameters to fit the full distribution of negative triplets. However, how to sample from and update the cache are two critical questions. We propose to solve these issues by automated machine learning techniques. The automated version also covers GAN-based methods as special cases. Theoretical explanation of NSCaching is also provided, justifying the superior over fixed sampling scheme. Besides, we further extend NSCaching with skip-gram model for graph embedding. Finally, extensive experiments show that our method can gain significant improvements on various KG embedding models and the skip-gram model, and outperforms the state-of-the-art negative sampling methods.

연구 동기 및 목표

• 나쁜 부정 샘플링 전략으로 인해 발생하는 기울기 소실 문제를 해결하기 위해.
• 균일하거나 베르누이 샘플링과 같은 고정된 샘플링 체계의 한계를 극복하여, 부정 트리플릿의 동적 분포에 적응하지 못하는 문제를 해결하기 위해.
• 추가 생성기 학습이 필요 없는 복잡한 GAN 기반 부정 샘플링 방법의 대안으로 경량이며 확장 가능한 방법을 개발하기 위해.
• 캐시 샘플링 및 업데이트에서 탐색과 이용의 동적 균형을 자동화된 기계학습을 통해 통합하기 위해.
• 그래프 표현 학습을 위한 스跛그램 모델로의 방법 확장하여 다양한 후행 작업에서의 일반화 능력을 향상시키기 위해.

제안 방법

• 학습 최적화에 가장 유용한 정보를 지닌 큰 기울기를 가진 부정 트리플릿의 동적 캐시를 유지한다.
• 수렴성과 안정성을 보장하기 위해 Bregman 발산 기반 최적화 프레임워크를 사용한다.
• 탐색-이용 균형 조정을 위해 자동화된 기계학습(AutoML)을 적용하여 캐시 항목의 선택 및 업데이트를 최적화한다.
• 기울기 크기에 기반한 적응형 샘플링 확률을 갖는 스토하스틱 최적화 문제로 샘플링 과정을 수식화한다.
• 다양한 스코어링 함수(예: TransE, RotatE)와 통합하고, 노드 표현 학습을 위한 스跛그램 모델로 확장한다.
• 이론적 분석을 통해 볼록 및 비볼록 설정 모두에서 수렴성을 입증하여, 고정 샘플링 체계에 비해 본 방법의 효과성을 정당화한다.

실험 결과

연구 질문

• RQ1 모델 복잡도를 증가시키지 않고 지식 그래프 임베딩에서 부정 샘플링을 어떻게 더 효과적으로 만들 수 있는가?
• RQ2 생성기 학습이 필요 없이, 캐시 기반 접근 방식이 GAN 기반 부정 샘플링을 능가할 수 있는가?
• RQ3 캐시 내의 고기울기 샘플을 이용하는 것과 새로운 부정 샘플을 탐색하는 것 사이의 최적의 균형은 무엇인가?
• RQ4 NSCaching는 다양한 스코어링 함수와 후행 작업에서 어떻게 일반화되는가?
• RQ5 NSCaching는 그래프 표현 학습을 위한 스跛그램 모델로 효과적으로 확장될 수 있는가?

주요 결과

• NSCaching는 다양한 벤치마크 지식 그래프 데이터셋에서 최신 기술 수준의 성능을 달성하여, 고정 및 GAN 기반 부정 샘플링 방법을 모두 능가한다.
• 링크 예측 및 노드 분류 정확도가 크게 향상되었으며, Node2vec 및 SeedNE와 같은 기준 방법에 비해 일관되게 높은 매크로-F1 스코어를 기록한다.
• 노드 분류 작업에서 NSCaching 기반 스跛그램 모델은 빈도 기반 방법보다 높은 F1 스코어를 달성했으며, 30%, 50%, 70% 라벨링된 노드 분할 시 모두 개선된 성능을 보였다.
• AutoML 기반의 탐색과 이용 균형 조정은 더 안정적이고 효과적인 샘플링을 이끌어내어 편향과 기울기 소실을 줄였다.
• 이론적 분석을 통해 NSCaching의 수렴성과 효과성이 확인되었으며, 고정 샘플링 체계에 비해 우월함을 공식적으로 정당화하였다.
• 광범위한 아블레이션 분석을 통해, 고기울기 샘플을 캐시하는 것이 균일하거나 베르누이 샘플링보다 수렴 속도가 빠르고 일반화 능력이 뛰어나다는 것이 입증되었다.