[논문 리뷰] Debiased Graph Contrastive Learning.

Jun Xia, Lirong Wu외 3명|arXiv (Cornell University)|2021. 10. 05.

Advanced Graph Neural Networks참고 문헌 37인용 수 7

한 줄 요약

이 논문은 그래프 컨트라스트브 러닝에서 근본적으로 잘못된 음성 샘플(기준 노드와 같은 클래스에 속하는 음성 샘플)을 식별하고 이를 완화하는 Debiased Graph Contrastive Learning (DGCL)을 제안한다. 각 음성 샘플이 진정으로 음성일 가능성의 정도를 추정함으로써, DGCL-weight 및 DGCL-mix 두 가지 기법을 통해 성능을 향상시키며, 다양한 벤치마크에서 최신 기술 수준(SOTA) 또는 그 이상의 성능을 달성한다. 특히 지도 학습 방법을 뛰어넘는 성능을 기록한다.

ABSTRACT

Contrastive learning (CL) has emerged as a dominant technique for unsupervised representation learning which embeds augmented versions of the anchor close to each other (positive samples) and pushes the embeddings of other samples (negative samples) apart. As revealed in recent works, CL can benefit from hard negative samples (negative samples that are difficult to distinguish from the anchor). However, we observe minor improvement or even performance drop when we adopt existing hard negative mining techniques in Graph Contrastive Learning (GCL). We find that many hard negative samples similar to anchor point are false negative ones (samples from the same class as anchor point) in GCL, which is different from CL in computer vision and will lead to unsatisfactory performance of existing hard negative mining techniques in GCL. To eliminate this bias, we propose Debiased Graph Contrastive Learning (DGCL), a novel and effective method to estimate the probability whether each negative sample is true or not. With this probability, we devise two schemes (i.e., DGCL-weight and DGCL-mix) to boost the performance of GCL. Empirically, DGCL outperforms or matches previous unsupervised state-of-the-art results on several benchmarks and even exceeds the performance of supervised ones.

연구 동기 및 목표

• 기존의 하드 음성 샘플링 기법을 사용할 경우 그래프 컨트라스트브 러닝(GCL)에서 성능 저하가 발생하는 문제를 해결하기 위해.
• 기준 노드와 같은 클래스에 속하는 음성 샘플(거짓 음성 샘플)이 존재함을 식별하고 이를 완화하기 위해.
• 음성 샘플이 진정으로 음성일 가능성이 높은지를 추정함으로써, 표준 하드 음성 샘플링에서 잘못 유사한 것으로 오해되는 샘플의 영향을 줄이기 위해.
• 이중 효과적인 기법인 DGCL-weight 및 DGCL-mix를 개발하여, 편향이 제거된 음성 샘플링 전략을 활용해 표현 학습을 향상시키기 위해.
• 비지도 그래프 표현 학습에서 최신 기술 수준(SOTA) 또는 그 이상의 성능을 달성함으로써, 지도 학습 기반 베이스라인을 뛰어넘는 성능을 내기 위해.

제안 방법

• 학습 가능한 구성 요소를 활용해 거짓 음성 샘플과 진정된 음성 샘플을 구분함으로써, 각 음성 샘플이 진정으로 음성일 가능성이 높은지를 추정하는 편향 보정 메커니즘을 제안한다.
• DGCL-weight는 각 음성 샘플의 진정된 음성일 가능성이 높은 정도에 따라 가중치를 재조정함으로써, 컨트라스트브 러닝 성능을 향상시킨다.
• DGCL-mix는 기준 노드와 다수의 음성 샘플을 주의 기반 가중치(유사도 기반)로 조합함으로써, 진정된 음성 샘플일 가능성이 높은 샘플을 효과적으로 활용한다.
• 그래프 신경망을 사용해 노드 표현을 인코딩하고, 노드 마스킹, 엣지 제거 등의 데이터 증강 기법을 적용해 양성 및 음성 뷰를 생성한다.
• 편향이 제거된 음성 샘플링 전략을 활용해 대비 손실을 최적화함으로써 표현 공간을 최적화하며, 잘못된 음성 샘플의 영향을 최소화한다.
• 자기지도 학습 목표를 활용해 동일 노드의 증강 뷰(양성 쌍)는 가까이 있도록 유도하고, 진정된 음성 쌍은 멀어지도록 유도한다.

실험 결과

연구 질문

• RQ1 왜 기존의 하드 음성 샘플링 기법은 컴퓨터 비전 분야와 비교해 그래프 컨트라스트브 러닝(GCL)에서 성능이 열등한가?
• RQ2 표준 하드 음성 샘플링을 적용했을 때 성능 저하가 발생하는 이유는 무엇이며, 특히 거짓 음성 샘플의 영향 때문인가?
• RQ3 음성 샘플이 진정으로 음성일 가능성이 높은지를 추정함으로써 GCL 성능을 향상시킬 수 있는가?
• RQ4 편향이 제거된 음성 샘플링을 효과적으로 컨트라스트브 러닝에 통합해 성능을 향상시킬 수 있는가?
• RQ5 GCL에서 편향이 제거된 샘플링 전략을 통해 지도 학습 기반 방법의 성능을 달성하거나 초월할 수 있는가?

주요 결과

• DGCL은 다양한 그래프 벤치마크 데이터셋에서 성능을 크게 향상시켜 이전의 비지도 최신 기술 수준(SOTA) 방법을 뛰어넘는다.
• 제안된 DGCL-weight 및 DGCL-mix 기법은 GCL에서 거짓 음성 샘플의 부정적 영향을 효과적으로 줄인다.
• 일부 벤치마크에서 DGCL은 지도 학습 기반 베이스라인을 뛰어넘는 성능을 기록하며 강력한 일반화 능력을 보여준다.
• 이 방법은 GCL에서 많은 하드 음성 샘플이 그래프 구조의 영향으로 인해 거짓 음성 샘플임을 규명하며, 기존 기법의 실패 원인을 설명한다.
• DGCL의 확률 추정 구성 요소는 진정된 음성 샘플과 거짓 음성 샘플을 효과적으로 구분함으로써 더 효과적인 컨트라스트브 러닝을 가능하게 한다.
• 실험 결과는 여러 데이터셋에서 일관된 성능 향상을 보이며, 그래프 컨트라스트브 러닝에서 편향 보정의 효과를 확인한다.