[논문 리뷰] Self Contrastive Learning for Session-based Recommendation

Zhengxiang Shi, Xi Wang외 1명|arXiv (Cornell University)|2023. 06. 02.

Recommender Systems and Techniques인용 수 4

한 줄 요약

이 논문은 긍정/부정 샘플 구성이나 데이터 증강 없이 항목 표현의 균일성을 직접 최적화하는 간소화된 대비 학습 방법인 자기 대비 학습(SCL)을 제안한다. SCL은 k-NN 근사 기법을 통해 계산 복잡도를 줄이며, P@10 및 MRR@10와 같은 핵심 지표에서 최신 기술(SOTA) 세션 기반 추천 모델의 성능을 8.2–11.2% 향상시킨다.

ABSTRACT

Session-based recommendation, which aims to predict the next item of users' interest as per an existing sequence interaction of items, has attracted growing applications of Contrastive Learning (CL) with improved user and item representations. However, these contrastive objectives: (1) serve a similar role as the cross-entropy loss while ignoring the item representation space optimisation; and (2) commonly require complicated modelling, including complex positive/negative sample constructions and extra data augmentation. In this work, we introduce Self-Contrastive Learning (SCL), which simplifies the application of CL and enhances the performance of state-of-the-art CL-based recommendation techniques. Specifically, SCL is formulated as an objective function that directly promotes a uniform distribution among item representations and efficiently replaces all the existing contrastive objective components of state-of-the-art models. Unlike previous works, SCL eliminates the need for any positive/negative sample construction or data augmentation, leading to enhanced interpretability of the item representation space and facilitating its extensibility to existing recommender systems. Through experiments on three benchmark datasets, we demonstrate that SCL consistently improves the performance of state-of-the-art models with statistical significance. Notably, our experiments show that SCL improves the performance of two best-performing models by 8.2% and 9.5% in P@10 (Precision) and 9.9% and 11.2% in MRR@10 (Mean Reciprocal Rank) on average across different benchmarks. Additionally, our analysis elucidates the improvement in terms of alignment and uniformity of representations, as well as the effectiveness of SCL with a low computational cost.

연구 동기 및 목표

• 대비 학습 기반 세션 추천에서 항목 표현의 균일성이 부족하게 활용되고 있는 문제를 해결하기 위해.
• 복잡한 긍정/부정 샘플 구성과 데이터 증강에 의존하는 기존의 복잡한 대비 학습 목표를 단순화하기 위해.
• 항목 표현의 균일성에만 초점을 맞춘 통합적이고 해석 가능하며 확장 가능한 대비 목표를 통해 모델 성능을 향상시키기 위해.
• SCL을 적용했을 때 복잡한 대비 목표가 여전히 필요로 하는지 평가하기 위해.
• 절삭 분석 및 하이퍼파rameter 분 析를 통해 SCL의 효율성과 저비용 계산 특성을 입증하기 위해.

제안 방법

• SCL은 각 항목의 임베딩을 나머지 모든 항목과 대비시킴으로써 모든 항목 표현 간의 균일성을 강제하는 새로운 대비 손실을 도입한다.
• 핵심 목표는 자기 대비 손실로 표현되며, $\mathcal{L}^{\text{SCL}} = -\sum_{i=1}^{n} \log \frac{f(\mathbf{x}_i, \mathbf{x}_i)}{\sum_{\mathbf{x}' \in \mathcal{K}_i} f(\mathbf{x}_i, \mathbf{x}')} $ 로 정의되며, 여기서 $\mathcal{K}_i$ 는 항목 $i$ 의 k개의 최근접 이웃들로 이루어진 집합이다.
• 계산 비용을 줄이기 위해 k-Nearest Neighbor (kNN) 근사 기법을 사용하여 시간 복잡도를 $O(n^2 d)$ 에서 $O(n k d)$ 로 감소시킨다.
• SCL은 최신 기술 모델의 기존 대비 목표에 대한 플러그인 대체제로 설계되어 있으며, 아키텍처 변경이나 추가적인 데이터 증강이 필요 없다.
• 이 방법은 어떤 세션 기반 추천 모델과도 호환되며, 표현의 정렬성과 균일성을 모두 향상시킨다.
• 온도 하이퍼파rameter $\tau$ 는 대비 분포의 날카움을 제어하며, 최적의 성능을 위해 $\tau = 0.1$ 으로 설정된다.

실험 결과

연구 질문

• RQ1 SCL은 다양한 벤치마크에서 세션 기반 추천 모델의 성능을 어느 정도 향상시키는가?
• RQ2 SCL은 표현 정렬성과 균일성 측면에서 모델 성능을 어떻게 향상시키는가?
• RQ3 SCL을 적용했을 때 복잡한 대비 목표가 여전히 필요할까?
• RQ4 SCL은 저비용 계산으로 최신 기술 성능을 유지할 수 있는가?

주요 결과

• SCL은 다양한 벤치마크에서 두 개의 SOTA 모델에 대해 P@10 에서 각각 8.2% 와 9.5% 향상되었고, MRR@10 에서는 9.9% 와 11.2% 향상되었다.
• SCL은 Tmall, Nowplaying, Diginetica 세 개의 데이터셋에서 일관되게 성능 향상을 보였으며, 통계적으로 유의미했다.
• kNN 근사 기법을 사용할 때 음성 샘플 수 $k = 2$ 에서 최적 성능를 기록하여, 복잡한 음성 샘플링이 불필요하다는 것을 시사했다.
• 최적의 온도 하이퍼파rameter $\tau$ 는 0.1 으로 확인되었으며, 이보다 높은 값에서는 성능이 저하되었다.
• 전체 음성 샘플 집합을 사용했을 때도 SCL은 강력한 성능을 유지하지만, $k = 10$ 을 초과하면 성능 향상의 효과가 점점 줄어들며, 수익 감소 현상이 나타났다.
• kNN 근사 기법은 계산 비용을 크게 줄여주며, 성능 손실 없이 효율적인 구현을 가능하게 했다.