[논문 리뷰] Contrastive Learning for Cold-Start Recommendation

Yinwei Wei, Xiang Wang외 5명|arXiv (Cornell University)|2021. 07. 12.

Recommender Systems and Techniques참고 문헌 52인용 수 13

한 줄 요약

이 논문은 새로운 아이템이 역학적 상호작용 기록이 없어 협업 필터링의 이점을 얻을 수 없는 추천의 추워진 시작 문제를 해결하기 위해, 아이템 콘텐츠 특징과 협업 임베딩 간의 상호정보량을 최대화하는 대trastive learning 프레임워크인 CLCRec을 제안한다. CLCRec는 사용자-아이템 상호작용 신호와 콘텐츠 표현을 함께 최적화함으로써, 네 개의 데이터셋에서 온난 및 추워진 시작 추천 모두에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Recommending cold-start items is a long-standing and fundamental challenge in recommender systems. Without any historical interaction on cold-start items, CF scheme fails to use collaborative signals to infer user preference on these items. To solve this problem, extensive studies have been conducted to incorporate side information into the CF scheme. Specifically, they employ modern neural network techniques (e.g., dropout, consistency constraint) to discover and exploit the coalition effect of content features and collaborative representations. However, we argue that these works less explore the mutual dependencies between content features and collaborative representations and lack sufficient theoretical supports, thus resulting in unsatisfactory performance. In this work, we reformulate the cold-start item representation learning from an information-theoretic standpoint. It aims to maximize the mutual dependencies between item content and collaborative signals. Specifically, the representation learning is theoretically lower-bounded by the integration of two terms: mutual information between collaborative embeddings of users and items, and mutual information between collaborative embeddings and feature representations of items. To model such a learning process, we devise a new objective function founded upon contrastive learning and develop a simple yet effective Contrastive Learning-based Cold-start Recommendation framework(CLCRec). In particular, CLCRec consists of three components: contrastive pair organization, contrastive embedding, and contrastive optimization modules. It allows us to preserve collaborative signals in the content representations for both warm and cold-start items. Through extensive experiments on four publicly accessible datasets, we observe that CLCRec achieves significant improvements over state-of-the-art approaches in both warm- and cold-start scenarios.

연구 동기 및 목표

• 새로운 아이템이 역학적 상호작용 기록이 없어 협업 필터링의 이점을 얻을 수 없는 추워진 시작 추천의 근본적 과제를 해결하기 위해.
• 기존 방법들이 이론적 기반을 결여하거나 콘텐츠 특징과 협업 신호 간의 종속성을 효과적으로 모델링하지 못하는 한계를 극복하기 위해.
• 정보이론적 관점에서 추워진 시작 아이템 표현 학습을 재정의하여, 협업 임베딩과 아이템 콘텐츠 표현 간의 상호정보량을 최대화하기 위해.
• 온난 및 추워진 시작 아이템 모두에서 콘텐츠 기반 표현에 협업 신호를 유지하는 단순하면서도 효과적인 프레임워크를 개발하기 위해.
• 상호정보량 최대화를 통한 협업 지식의 콘텐츠 표현 유지에 대한 이론적 근거를 제공하기 위해.

제안 방법

• 정보이론에 기반하여 추워진 시작 표현 학습을 협업 임베딩(U-I)과 콘텐츠 표현(R-E) 간의 상호정보량 최대화 문제로 재정의한다.
• 양의 쌍과 음의 쌍을 채굴함으로써 U-I와 R-E 간의 상호정보량을 함께 최적화하는 대비 학습 기반 목적 함수를 제안한다.
• 사용자-아이템 상호작용과 콘텐츠 특징에서 유의미한 양의 쌍과 음의 쌍을 구성하기 위해, 대비 쌍 조직, 대비 임베딩 네트워크, 대비 최적화 모듈로 구성된 세 모듈 프레임워크를 설계한다.
• 정보량 최대화 손실(예: InfoNCE)을 사용하여 의미적으로 유사한 표현(양의 쌍)을 가까이 모으고, 유사하지 않은 표현(음의 쌍)은 멀리 떼어냄으로써 기울기 소실을 방지한다.
• 공동 임베딩 공간을 통합하여 콘텐츠 특징과 협업 신호를 융합함으로써, 협업 지식을 추워진 시작 아이템으로 전이할 수 있도록 한다.
• 어려운 음의 쌍 채굴을 통해 최적화 안정성과 표현 품질을 향상시키고, 모델 일반화 능력을 강화한다.

실험 결과

연구 질문

• RQ1 협업 임베딩과 콘텐츠 표현 간의 상호정보량 최대화가 추워진 시작 추천을 효과적으로 향상시키는가?
• RQ2 대비 학습이 추워진 시작 아이템의 콘텐츠 기반 표현에 협업 신호를 어떻게 유지하는가?
• RQ3 사용자-아이템 상호작용 신호와 콘텐츠 특징을 함께 최적화하면 온난 및 추워진 시작 상황에서 모두 더 나은 성능을 내는가?
• RQ4 상호정보량을 통한 콘텐츠와 협업 신호 간 종속성 모델링의 이론적 이점은 무엇인가?
• RQ5 CLCRec는 추워진 시작 아이템에 대한 성능과 일반화 능력 측면에서 강건성 기반 및 제약 기반 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• CLCRec는 네 개의 공개 데이터셋에서 온난 및 추워진 시작 추천 시나리오 모두에서 최신 기술(SOTA) 기반 모델을 뛰어넘는 성능을 보였다.
• 모델은 AUC 및 NDCG 지표에서 상당한 향상을 보이며, 대비 학습이 협업 신호를 추워진 시작 아이템으로 전이하는 데 효과적임을 입증했다.
• 어려운 음의 쌍 채굴은 훈련 안정성과 성능 향상에 기여하며, 기울기 소실을 피하는 대비 최적화의 유용성을 확인했다.
• 이론적 분석 결과, 표현 학습 목표 함수는 U-I와 R-E 상호정보량의 합으로 하한이 존재함을 보여주며, 이는 방법의 견고한 기반을 제공한다.
• CLCRec는 콘텐츠 표현에 협업 신호를 성공적으로 유지하여, 역학적 상호작용 기록이 전혀 없는 아이템에 대해서도 정확한 예측을 가능하게 했다.
• 실험 결과는 콘텐츠 및 협업 신호 간의 상호정보량 최대화가 미리 보지 못한(추워진 시작) 아이템에 대해 뛰어난 일반화 능력을 제공함을 검증했다.