[논문 리뷰] Contrastive Self-supervised Sequential Recommendation with Robust Augmentation

Zhiwei Liu, Yongjun Chen외 4명|arXiv (Cornell University)|2021. 08. 14.

Recommender Systems and Techniques참고 문헌 57인용 수 83

한 줄 요약

논문은 정보성 시퀀스 증강을 이용하여 데이터 희소성과 노이즈에 대한 강건성을 높이고 다음 아이템 예측과 함께 공동으로 학습하는 대조적 자기지도 프레임워크인 CoSeRec를 소개한다.

ABSTRACT

Sequential Recommendationdescribes a set of techniques to model dynamic user behavior in order to predict future interactions in sequential user data. At their core, such approaches model transition probabilities between items in a sequence, whether through Markov chains, recurrent networks, or more recently, Transformers. However both old and new issues remain, including data-sparsity and noisy data; such issues can impair the performance, especially in complex, parameter-hungry models. In this paper, we investigate the application of contrastive Self-Supervised Learning (SSL) to the sequential recommendation, as a way to alleviate some of these issues. Contrastive SSL constructs augmentations from unlabelled instances, where agreements among positive pairs are maximized. It is challenging to devise a contrastive SSL framework for a sequential recommendation, due to its discrete nature, correlations among items, and skewness of length distributions. To this end, we propose a novel framework, Contrastive Self-supervised Learning for sequential Recommendation (CoSeRec). We introduce two informative augmentation operators leveraging item correlations to create high-quality views for contrastive learning. Experimental results on three real-world datasets demonstrate the effectiveness of the proposed method on improving model performance and the robustness against sparse and noisy data. Our implementation is available online at \url{https://github.com/YChen1993/CoSeRec}

연구 동기 및 목표

• 연속 추천(SR)에서 데이터 희소성과 노이즈가 많은 상호작용을 동기화하고 해결한다.
• 항목 간의 상관관계를 보존하고 길이 편향을 처리하는 정보성 시퀀스 증강을 도입한다.
• 대조적 SSL 목표와 SR과 SSL을 함께 최적화하는 다중 작업 학습 전략을 제안한다.

제안 방법

• 항목 상관관계를 활용하여 견고한 뷰를 생성하는 두 가지 정보성 증강 연산자— Substitute (S) 와 Insert (I)—를 제안한다.
• 메모리 기반 및 모델 기반 항목 상관관계를 모두 활용하고 이를 하이브리드 Cor_h에 융합하여 증강 선택을 지원한다.
• 세 가지 무작위 증강(Crop, Mask, Reorder)을 채택하고 짧은 시퀀스를 지원하기 위해 시퀀스 길이에 따라 증강 집합을 맞춘다.
• 두 개의 증강 뷰 간의 합의를 극대화하기 위해 NT-Xent 대조 손실을 사용한다.
• 다음 아이템 예측 손실과 ssl 손실을 결합한 다중 작업 목표로 SR 인코더를 학습하며, 균형 하이퍼파라미터 lambda를 사용한다.

실험 결과

연구 질문

• RQ1 CoSeRec은 기존 방법에 비해 SR에서 어떤 성능을 보이는가?
• RQ2 어떤 증강 전략이 SR에 가장 적합하며 정보성 증강이 성능에 어떤 영향을 미치는가?
• RQ3 CoSeRec은 SR에서 희소 데이터와 노이즈가 많은 상호작용을 견고하게 처리할 수 있는가?
• RQ4 다른 하이퍼파라미터 및 증강 구성은 CoSeRec에 어떤 영향을 미치는가?

주요 결과

• CoSeRec은 HR@k 및 NDCG@k 지표에서 세 개의 실제 데이터셋에 대해 기준 모델을 지속적으로 능가한다.
• 항목 간 상관관계를 활용하는 정보성 증강은 양성 뷰의 품질을 향상시키고 특히 짧은 시퀀스의 콜드 스타트 문제를 완화한다.
• 다중 작업 학습(SR + SSL)은 SR 단독 학습 전단보다 더 나은 성능을 낸다.
• 상호 상관 Cor_h를 통한 상관 항목 선별은 학습이 진행될수록 증강 견고성을 향상시킨다.