[논문 리뷰] Understanding Negative Sampling in Graph Representation Learning

Zhen Yang, Ming Ding외 4명|arXiv (Cornell University)|2020. 05. 20.

Advanced Graph Neural Networks참고 문헌 45인용 수 23

한 줄 요약

이 논문은 그래프 표현 학습에서의 음성 샘플링을 이론적으로 분석하며, 최적의 음성 샘플링 분포는 양성 분포와 부분선형적으로 상관되어야 한다는 것을 입증한다 (즉, $p_n(u|v) \propto p_d(u|v)^\alpha$ 이며 $0 < \alpha < 1$). 이는 자기 대비 근사와 메트로폴리스-해스팅스 샘플링을 사용하는 확장 가능한 음성 샘플링 방법인 MCNS를 제안하며, 다양한 GNN 및 네트워크 임bedding 모델을 사용한 다섯 개인 데이터셋에서 링크 예측, 노드 분류, 추천 작업 전반에서 성능을 크게 향상시킨다.

ABSTRACT

Graph representation learning has been extensively studied in recent years. Despite its potential in generating continuous embeddings for various networks, both the effectiveness and efficiency to infer high-quality representations toward large corpus of nodes are still challenging. Sampling is a critical point to achieve the performance goals. Prior arts usually focus on sampling positive node pairs, while the strategy for negative sampling is left insufficiently explored. To bridge the gap, we systematically analyze the role of negative sampling from the perspectives of both objective and risk, theoretically demonstrating that negative sampling is as important as positive sampling in determining the optimization objective and the resulted variance. To the best of our knowledge, we are the first to derive the theory and quantify that the negative sampling distribution should be positively but sub-linearly correlated to their positive sampling distribution. With the guidance of the theory, we propose MCNS, approximating the positive distribution with self-contrast approximation and accelerating negative sampling by Metropolis-Hastings. We evaluate our method on 5 datasets that cover extensive downstream graph learning tasks, including link prediction, node classification and personalized recommendation, on a total of 19 experimental settings. These relatively comprehensive experimental results demonstrate its robustness and superiorities.

연구 동기 및 목표

• 최적화 목표와 위험 관점에서 음성 샘플링이 그래프 표현 학습에서 수행하는 역할을 체계적으로 분석하기 위해.
• 음성 샘플링이 분산을 최소화하고 최적화 목표를 최적화하는 데 필요한 이론적 조건을 규명하기 위해.
• 양성 샘플링 분포와 부분선형적으로 상관되는 원칙적인 음성 샘플링 분포를 유도하기 위해.
• 이론적 통찰을 활용하여 확장 가능하고 효과적인 음성 샘플링 전략을 개발하여 후행 작업 성능을 향상시키기 위해.
• 다양한 그래프 학습 작업과 아키텍처에서 제안된 방법의 우수성을 실증적으로 검증하기 위해.

제안 방법

• 이론적 분석을 통해 음성 샘플링이 최적화 목표 형성과 추정 분산 최소화에 있어 양성 샘플링과 동일한 중요성을 지닌다는 것을 보여준다.
• 논문은 최적의 음성 샘플링 분포를 $p_n(u|v) \propto p_d(u|v)^\alpha$ ($0 < \alpha < 1$)로 유도하며, 여기서 $p_d(u|v)$는 양성 샘플링 분포이다.
• MCNS는 현재 노드 임베딩에서의 자기 대비를 사용하여 이상적인 양성 분포를 근사하여 음성 샘플링을 유도한다.
• 지역 그래프 구조를 활용하여 번안 단계를 생략하고 효율성을 유지하기 위해 메트로폴리스-해스팅스 알고리즘을 적용한다.
• 인접 노드의 마르코프 성질을 활용하여 빠른 혼합과 높은 품질의 음성 샘플을 보장하면서 성능 저하 없이 유지한다.
• 이 방법은 GNN과 기존 네트워크 임베딩 모델 모두와 호환되어 광범위한 적용 가능성을 지닌다.

실험 결과

연구 질문

• RQ1 음성 샘플링은 그래프 표현 학습에서 최적화 목표와 추정 분산에 어떤 이론적 영향을 미치는가?
• RQ2 위험을 최소화하고 성능을 향상시키기 위해 음성 샘플링 분포는 양성 샘플링 분포와 어떻게 설계되어야 하는가?
• RQ3 원칙적인 음성 샘플링 전략은 도로 기반 샘플링과 같은 히وري스틱 기반 기본 전략을 능가할 수 있는가?
• RQ4 제안된 방법은 다양한 그래프 학습 모델과 데이터셋에서 얼마나 성능을 향상시키는가?
• RQ5 불일치하는 음성 샘플링(예: 낮은 $p_d(u)$를 가진 먼 노드를 샘플링)은 모델 성능에 어떤 영향을 미치며, 이는 정량적으로 설명될 수 있는가?

주요 결과

• 최적의 음성 샘플링 분포는 양성 분포와 부분선형적으로 상관되어 있으며, 일반적인 직관인 먼 노드를 샘플링하는 것과 정반대된다.
• MCNS는 다섯 개의 실세계 데이터셋에서 19개의 실험 설정에서 여덟 개의 기존 음성 샘플링 전략보다 뚜렷이 뛰어난 성능을 보였다.
• 음성 샘플링 수 $k$가 증가함에 따라 성능이 향상되다가 어느 지점 이후 편향이 증가하면서 성능이 저하됨을 확인하여 이론적 위험 트레이드오프를 검증하였다.
• 낮은 $p_d(u)$를 가진 먼 노드를 샘플링하면 성능 저하가 발생함을 확인하여, 불일치하는 음성 분포가 학습에 악영향을 준다는 이론을 뒷받침하였다.
• 역방향 DNS 전략은 낮은 확률의 항목에서 샘플링하며, 후보 크기 $M$이 증가할수록 MRR와 Hits@k가 감소하는 경향을 보였으며, 이는 이론을 실증적으로 검증하였다.
• MCNS는 다양한 모델(예: GraphSAGE, GCN)과 작업(링크 예측, 노드 분류, 추천) 전반에서 높은 성능을 유지하여 강건성을 입증하였다.