[논문 리뷰] ProGCL: Rethinking Hard Negative Mining in Graph Contrastive Learning

Jun Xia, Lirong Wu외 3명|arXiv (Cornell University)|2021. 10. 05.

Advanced Graph Neural Networks인용 수 43

한 줄 요약

ProGCL은 그래프 대비 학습에서 진짜 음수와 거짓 음수를 구분하는 Beta Mixture Model 기반 측정을 도입하고, GCL에서 어려운 음수 채굴을 개선하기 위한 두 가지 스킴(ProGCL-weight 및 ProGCL-mix)을 제공합니다.

ABSTRACT

Contrastive Learning (CL) has emerged as a dominant technique for unsupervised representation learning which embeds augmented versions of the anchor close to each other (positive samples) and pushes the embeddings of other samples (negatives) apart. As revealed in recent studies, CL can benefit from hard negatives (negatives that are most similar to the anchor). However, we observe limited benefits when we adopt existing hard negative mining techniques of other domains in Graph Contrastive Learning (GCL). We perform both experimental and theoretical analysis on this phenomenon and find it can be attributed to the message passing of Graph Neural Networks (GNNs). Unlike CL in other domains, most hard negatives are potentially false negatives (negatives that share the same class with the anchor) if they are selected merely according to the similarities between anchor and themselves, which will undesirably push away the samples of the same class. To remedy this deficiency, we propose an effective method, dubbed extbf{ProGCL}, to estimate the probability of a negative being true one, which constitutes a more suitable measure for negatives' hardness together with similarity. Additionally, we devise two schemes (i.e., extbf{ProGCL-weight} and extbf{ProGCL-mix}) to boost the performance of GCL. Extensive experiments demonstrate that ProGCL brings notable and consistent improvements over base GCL methods and yields multiple state-of-the-art results on several unsupervised benchmarks or even exceeds the performance of supervised ones. Also, ProGCL is readily pluggable into various negatives-based GCL methods for performance improvement. We release the code at extcolor{magenta}{\url{https://github.com/junxia97/ProGCL}}.

연구 동기 및 목표

• 다른 도메인에서의 기존의 hard negative mining 방법이 Graph Contrastive Learning(GCL)에서 왜 저조한 성능을 보이는지 설명한다.
• Beta Mixture Model을 사용하여 GCL에서 true negatives와 false negatives를 구분하는 확률적 측정을 개발한다.
• 새로운 음수 난이도 측정을 활용하기 위한 두 가지 실용적 스킴(ProGCL-weight 및 ProGCL-mix)을 제안한다.
• ProGCL이 기본 GCL 방법을 개선하고 비지도 벤치마크에서 최첨단 결과를 달성함을 보여준다.
• ProGCL이 다양한 음수 기반 GCL 방법에 플러그인 가능하고 대형 그래프에도 확장될 수 있음을 보인다.

제안 방법

• 음수 유사도 분포를 두성분 Beta Mixture Model(BMM)으로 모델링하여 음수가 실제 음수일 확률을 추정한다.
• 유사도 s가 주어졌을 때 true/false negatives에 대한 사후 확률 p(c|s)를 계산하고 이 확률을 사용해 음성 강도를 재정의한다.
• ProGCL-weight 도입: 대조 손실에서 유사도와 true-negative 확률의 결합 척도로 음수 쌍에 가중치를 부여한다.
• ProGCL-mix 도입: 상위 점수를 받은 인터뷰 음수들의 볼록 조합으로 hard negatives를 합성하고 이들을 true-negative 확률로 가중치하여 손실에 포함한다.
• 일반 GCL 프레임워크와 호환되는 두 가지 학습 스킴(전이적/유도적)을 제공하며 계산 오버헤드가 허용 가능한 수준이다(BMM을 M 샘플에 적합시키고 EM 반복을 수행).

실험 결과

연구 질문

• RQ1 다른 도메인에서의 기존 hard negative mining 방법이 Graph Contrastive Learning에서 왜 저조한 성능을 보이는가?
• RQ2 혼합모형 기반의 사후 확률이 GCL에서 true negatives와 false negatives를 구분할 수 있는가, 그리고 이를 학습에 어떻게 통합할 수 있는가?
• RQ3 ProGCL-weight와 ProGCL-mix가 다양한 GCL 기본 모델과 데이터셋에서 일관되게 성능을 향상시키는가?
• RQ4 ProGCL이 서로 다른 음수 기반 GCL 방법에 플러그인 가능하고 대형 그래프에 확장 가능한가?

주요 결과

Method	Amazon-Photo	Amazon-Computers	Coauthor-CS	Wiki-CS
GCA ∗	92.55	87.82	92.40	78.26
ProGCL-weight	93.30	89.28	93.51	78.68
ProGCL-mix	93.64	89.55	93.67	78.45
Supervised GCN	92.42	86.51	93.03	77.19
Supervised GAT	92.56	86.93	92.31	77.65

• ProGCL은 기본 GCL 방법을 일관되게 개선하고 여러 비지도 벤치마크에서 최첨단 성과를 달성한다.
• Beta Mixture Model은 Gaussian 혼합모형보다 GCL에서 음수의 분포(진짜/거짓)에 더 잘 맞아 신뢰할 수 있는 사후 확률을 가능하게 한다.
• ProGCL-weight와 ProGCL-mix는 다수의 데이터셋에서 전이적(transductive) 및 귀납적(inductive) 노드 분류 작업에서 기본 GCL을 능가한다.
• ProGCL-mix는 특히 특정 데이터셋에서 종종 ProGCL-weight보다 약간 더 나은 성능을 보인다.
• 대규모 그래프(예: ogbn-arXiv)에서 ProGCL은 다른 기준선에 비해 비지도 성능이 우수하다.
• 다른 음수 기반 GCL 방법(예: MERIT)에 적용하면 ProGCL이 성능을 향상시키며, 플러그 앤 플레이 특성을 입증한다.