[논문 리뷰] Contrastive Learning for Recommender System

Zhuang Liu, Yunpu Ma외 2명|arXiv (Cornell University)|2021. 01. 05.

Recommender Systems and Techniques참고 문헌 38인용 수 44

한 줄 요약

그래프 대조 학습(GCL)과 편향 제거 대조 손실(DCL)을 도입하여 GNN 기반 추천 시스템의 표현 품질을 향상시키고 선택 및 샘플링 편향을 완화하며, 세 데이터셋에서 다수의 기준 모델 대비 성능이 개선되었음을 입증한다.

ABSTRACT

Recommender systems, which analyze users' preference patterns to suggest potential targets, are indispensable in today's society. Collaborative Filtering (CF) is the most popular recommendation model. Specifically, Graph Neural Network (GNN) has become a new state-of-the-art for CF. In the GNN-based recommender system, message dropout is usually used to alleviate the selection bias in the user-item bipartite graph. However, message dropout might deteriorate the recommender system's performance due to the randomness of dropping out the outgoing messages based on the user-item bipartite graph. To solve this problem, we propose a graph contrastive learning module for a general recommender system that learns the embeddings in a self-supervised manner and reduces the randomness of message dropout. Besides, many recommender systems optimize models with pairwise ranking objectives, such as the Bayesian Pairwise Ranking (BPR) based on a negative sampling strategy. However, BPR has the following problems: suboptimal sampling and sample bias. We introduce a new debiased contrastive loss to solve these problems, which provides sufficient negative samples and applies a bias correction probability to alleviate the sample bias. We integrate the proposed framework, including graph contrastive module and debiased contrastive module with several Matrix Factorization(MF) and GNN-based recommendation models. Experimental results on three public benchmarks demonstrate the effectiveness of our framework.

연구 동기 및 목표

• GNN 기반 추천 시스템에서 메시지 드롭아웃으로 인한 선택 편향을 줄여 표현 품질을 개선하려는 동기 부여.
• BPR 기반 최적화에서의 하향식 음수 샘플링 및 샘플링 편향 문제를 해결.
• 그래프 대조 학습(GCL)과 편향 제거 대조 손실(DCL)을 결합하는 일반 프레임워크를 제안.
• 프레임워크가 다양한 기본 모델과 데이터셋에서 개선을 가져오는지 보여준다.

제안 방법

• 유저(및 옵션으로 아이템) 주변의 L-hop 서브그래프를 섭동시키고 두 가지 섭동 간 일치를 최대화하는 그래프 대조 학습(GCL) 모듈을 제안.
• 추가 음수 샘플과 샘플링 편향을 줄이기 위한 바이어스 보정 확률 tau+를 제공하는 편향 제거 대조 손실(DCL)을 도입.
• 엔드 투 엔드 목표로 L_GCL과 L_DCL을 L2 정규화와 함께 결합하고 Adam으로 학습.
• 대조 손실에서 코사인 유사도와 온도 파라미터(t1, t2)를 사용하고 임베딩을 정규화.
• 同一 미니배치의 다른 사용자와 아이템을 음수 샘플로 간주하여 임베딩 공간에서 균일성 및 구분성을 촉진.
• GCL+DCL 프레임워크를 MF, DMF, GCN, GC-MC, PinSage, NGCF, LR-GCCF, LightGCN 등 다양한 기본 추천 모델에 적용하기 위해 손실을 대체.

실험 결과

연구 질문

• RQ1 RQ1: 제안된 프레임워크가 일반적이고 벤치마크 알고리즘에 적용 가능한가?
• RQ2 RQ2: 성능에 대한 다양한 구성요소(그래프 섭동, 편향 제거 손실)의 기여도는 무엇인가?
• RQ3 RQ3: 프레임워크가 최첨단 모델보다 더 효율적인가?
• RQ4 RQ4: tau+ 및 그래프 섭동 p와 같은 하이퍼파라미터에 프레임워크가 얼마나 강건한가?

주요 결과

• 프레임워크는 Yelp2018, Amazon-Book, Steam 전반에서 기준 모델을 일관되게 개선한다.
• 그래프 섭동과 편향 제거 대조 손실은 MF 및 DMF와 같은 기본 모델의 성능을 크게 향상시키며, Yelp2018에서 큰 상대적 이득을 보인다.
• LightGCN 및 그 변형과 같은 최첨단 모델도 혜택을 받아 여러 데이터셋에서 최상위 결과를 달성한다.
• MF/DMF는 GCL+DCL로 전환할 때 상당한 이득을 보이며(일부 데이터셋에서 recall@20 및 ndcg@20이 약 60-67% 상승하는 예시 포함).
• GCN++, GC-MC++, LR-GCCF++, LightGCN++ 변형은 데이터셋 전반에서 기본 상대 모델을 꾸준히 능가한다.