[논문 리뷰] XSimGCL: Towards Extremely Simple Graph Contrastive Learning for Recommendation

Junliang Yu, Xin Xia외 4명|arXiv (Cornell University)|2022. 09. 06.

Recommender Systems and Techniques인용 수 29

한 줄 요약

XSimGCL은 노이즈 기반의 경량 그래프 대조 학습 접근법으로, 증강 의존 방법과 견줄 만큼의 성능을 달성하거나 능가하며 단일 패스 아키텍처로 효율성을 제공한다.

ABSTRACT

Contrastive learning (CL) has recently been demonstrated critical in improving recommendation performance. The underlying principle of CL-based recommendation models is to ensure the consistency between representations derived from different graph augmentations of the user-item bipartite graph. This self-supervised approach allows for the extraction of general features from raw data, thereby mitigating the issue of data sparsity. Despite the effectiveness of this paradigm, the factors contributing to its performance gains have yet to be fully understood. This paper provides novel insights into the impact of CL on recommendation. Our findings indicate that CL enables the model to learn more evenly distributed user and item representations, which alleviates the prevalent popularity bias and promoting long-tail items. Our analysis also suggests that the graph augmentations, previously considered essential, are relatively unreliable and of limited significance in CL-based recommendation. Based on these findings, we put forward an eXtremely Simple Graph Contrastive Learning method (XSimGCL) for recommendation, which discards the ineffective graph augmentations and instead employs a simple yet effective noise-based embedding augmentation to generate views for CL. A comprehensive experimental study on four large and highly sparse benchmark datasets demonstrates that, though the proposed method is extremely simple, it can smoothly adjust the uniformity of learned representations and outperforms its graph augmentation-based counterparts by a large margin in both recommendation accuracy and training efficiency. The code and used datasets are released at https://github.com/Coder-Yu/SELFRec.

연구 동기 및 목표

• 클러스터링 기반 추천에서 그래프 증강의 역할과 대조 손실이 표현의 균일성에 미치는 영향을 조사한다.
• 임베딩의 균일성을 체계적으로 정규화하기 위한 간단한 노이즈 기반 증강을 제안한다.
• 추천 및 대조 과제를 단일 순전파로 통합하기 위해 XSimGCL을 개발한다.
• 레이어 간 대조와 공유 표현의 이점을 이론적 및 실증적으로 제시한다.

제안 방법

• 임베딩에 제어된 균일 노이즈를 추가하여 노이즈 기반 표현 증강을 도입한다.
• 동일한 교란된 표현을 추천 및 대조 과제에 모두 사용하여 단일 순전파를 가능하게 하는 XSimGCL을 제안한다.
• 그래프 스펙트럼의 고주파 정보를 활용하기 위해 최종 레이어의 대조를 레이어 간 대조로 교체한다.
• BPR 스타일의 추천 손실과 InfoNCE 기반의 대조 손실을 결합한 합동 손실을 사용한다.
• 레이어 간 대조의 효율성을 정당화하기 위해 그래프 스펙트럼에 기초한 이론적 분석을 제공한다.

Figure 1: Graph contrastive learning with edge dropout for recommendation.

실험 결과

연구 질문

• RQ1 CL 기반 추천 모델에서 그래프 증강은 얼마나 필요하며, 실제로 성능에 어떤 기여를 한다?
• RQ2 표현 수준의 노이즈 증강이 학습된 임베딩의 균일성을 제어하고 추천 품질을 향상시킬 수 있는가?
• RQ3 고주파 정보를 활용하는 레이어 간 대조가 최종 레이어 대조보다 이점을 제공하는가?
• RQ4 증강 기반 방법 및 기존의 간단한 CL 방법과 비교하여 XSimGCL의 효율성 및 정확도는 어떤가?

주요 결과

• InfoNCE 중심의 균일성이 CL 기반 추천에서 그래프 증강보다 성능 향상의 주된 요인이다.
• 노이즈 기반 증강은 표현의 균일성을 체계적으로 증가시켜 롱테일 아이템 추천을 향상시킬 수 있다.
• 단일 패스 아키텍처로 경쟁력 있거나 우수한 성능을 달성하여 SimGCL 및 기타 증강 기반 방법에 비해 학습 비용을 줄인다.
• 그래프 스펙트럼을 이용한 이론적 분석은 고주파 정보를 더 잘 활용하는 레이어 간 대조를 뒷받침한다.
• 네 개의 대규모 희소 데이터셋에 대한 실증 결과 XSimGCL이 정확도와 훈련 효율성 측면에서 증강 기반 동료들을 능가함을 보인다.

Figure 2: The architectures of SimGCL and XSimGCL.