[논문 리뷰] LightGCL: Simple Yet Effective Graph Contrastive Learning for Recommendation

Xuheng Cai, Chao Huang외 2명|arXiv (Cornell University)|2023. 02. 16.

Recommender Systems and Techniques인용 수 99

한 줄 요약

LightGCL은 추천 시스템에서 그래프 대조 학습을 위한 간단한 SVD-가이드 증강을 제안하여 확률적 섭동을 피하고 강건성과 효율성을 향상시킵니다. 다양한 실제 데이터 세트에서 최첨단 성능을 달성합니다.

ABSTRACT

Graph neural network (GNN) is a powerful learning approach for graph-based recommender systems. Recently, GNNs integrated with contrastive learning have shown superior performance in recommendation with their data augmentation schemes, aiming at dealing with highly sparse data. Despite their success, most existing graph contrastive learning methods either perform stochastic augmentation (e.g., node/edge perturbation) on the user-item interaction graph, or rely on the heuristic-based augmentation techniques (e.g., user clustering) for generating contrastive views. We argue that these methods cannot well preserve the intrinsic semantic structures and are easily biased by the noise perturbation. In this paper, we propose a simple yet effective graph contrastive learning paradigm LightGCL that mitigates these issues impairing the generality and robustness of CL-based recommenders. Our model exclusively utilizes singular value decomposition for contrastive augmentation, which enables the unconstrained structural refinement with global collaborative relation modeling. Experiments conducted on several benchmark datasets demonstrate the significant improvement in performance of our model over the state-of-the-arts. Further analyses demonstrate the superiority of LightGCL's robustness against data sparsity and popularity bias. The source code of our model is available at https://github.com/HKUDS/LightGCL.

연구 동기 및 목표

• 데이터 희소성과 노이즈 하에서 추천을 위한 강건한 그래프 대조 학습 동기를 부여합니다.
• 전역 협업 신호를 주입하기 위한 특이값 분해(SVD)를 기반으로 한 경량 증강 스킴을 도입합니다.
• 표현 품질을 향상시키기 위해 SVD 기반 증강을 간소화된 대조 학습 목표와 통합합니다.
• 데이터 희소성, 인기 편향, 및 과도한 매끄러움에 대한 강건성 분석을 수행합니다.
• 기존 GCL 기반 방법과 비교하여 향상된 효율성을 보여줍니다.]
• method:["로컬 사용자-아이템 상호작용을 포착하는 2층 GCN 백본.","전역 협업 구조를 주입하기 위한 상호작용 그래프의 SVD 가이드 증강(확장성을 위한 랜덤화된 SVD 활용).","SVD 재구성 그래프로 단일 증강 뷰를 구성하고 주 뷰와 함께 InfoNCE 대조를 수행합니다.","효율성을 위해 SVD 구성요소(Uq, Sq, Vq)를 사전 계산하고 드롭아웃을 사용한 이중 뷰 대조 학습으로 정규화를 적용합니다.","권장 손실과 사용자 및 아이템의 대조 손실, 그리고 L2 정규화 항을 공동으로 최적화합니다.","세 뷰 CL 방법에 비해 학습 비용이 감소했음을 보여주는 복잡도 분석을 제공합니다."]
• research_questions:[

제안 방법

• Two-layer GCN backbone to capture local user-item interactions.
• SVD-guided augmentation of the interaction graph to inject global collaborative structure (via randomized SVD for scalability).
• Construct a single augmented view from the SVD-reconstructed graph and perform InfoNCE contrast with the main view.
• Precompute SVD components (Uq, Sq, Vq) for efficiency and use two-view contrastive learning with dropout for regularization.
• Jointly optimize the recommendation loss with the contrastive losses for users and items and an L2 regularization term.
• Provide complexity analysis showing reduced training cost relative to three-view CL methods.

Figure 1: Overall structure of LightGCL.

실험 결과

연구 질문

• RQ1 LightGCL이 표준 추천 벤치마크에서 최첨단 baselines와 비교하여 어떤 성능을 보이나요?
• RQ2 SVD 기반 증강이 데이터 희소성 및 인기도 편향에 대한 강건성을 개선하면서 효율적인 학습을 유지하나요?
• RQ3 다양한 하이퍼파라미터(lambda1, tau, q)의 성능에 미치는 영향은 무엇인가요?
• RQ4 로컬-글로벌 대조 학습 구성요소가 성능에 어떻게 기여하나요?
• RQ5 LightGCL이 과도한 매끄러움에 저항하며 임베딩이 의미 있는 구조를 유지하나요?

주요 결과

• LightGCL은 다섯 데이터셋에서 Recall@20, Recall@40, NDCG@20, NDCG@40에 대해 모든 대조 기반 벤치마크를 일관되게 능가합니다.
• SVD 기반 증강은 노이즈가 있는 사용자-아이템 상호작용에서 대조 학습 신호를 개선하는 강건한 전역 구조 신호를 제공합니다.
• LightGCL은 낮은 배치당 복잡도 및 낮은 선처리 비용으로 학습 효율이 향상되었습니다.
• 소거 연구에서 SVD 기반 증강이 효과적임이 확인되었고 MF 기반 대안은 LightGCL의 SVD 변형보다 성능이 떨어졌습니다.
• 하이퍼파라미터 분석은 tau 값의 범위에서 안정적인 성능을 나타내고 작은 q(랭크)가 충분하다고 함(q=5).
• LightGCL은 HCCF 및 SimGCL에 비해 데이터 희소성 및 인기 편향에 대한 강건성을 보여줍니다.

Figure 2: Performance on users of different sparsity degrees, in terms of Recall (histograms) and relative Recall w.r.t overall performances (charts).