[논문 리뷰] Representation Learning with Large Language Models for Recommendation

Xubin Ren, Wei Wei외 6명|arXiv (Cornell University)|2023. 10. 24.

Recommender Systems and Techniques인용 수 10

한 줄 요약

이 논문은 모델- agnostic 프레임워크인 RLMRec를 제안한다. 이 프레임워크는 대형 언어 모델(LLM)을 활용하여 LLM-유도 의미 표현과 협업 필터링 임베딩을 상호 정보 최대화를 통해 정렬함으로써 기존 추천 시스템을 보강한다.

ABSTRACT

Recommender systems have seen significant advancements with the influence of deep learning and graph neural networks, particularly in capturing complex user-item relationships. However, these graph-based recommenders heavily depend on ID-based data, potentially disregarding valuable textual information associated with users and items, resulting in less informative learned representations. Moreover, the utilization of implicit feedback data introduces potential noise and bias, posing challenges for the effectiveness of user preference learning. While the integration of large language models (LLMs) into traditional ID-based recommenders has gained attention, challenges such as scalability issues, limitations in text-only reliance, and prompt input constraints need to be addressed for effective implementation in practical recommender systems. To address these challenges, we propose a model-agnostic framework RLMRec that aims to enhance existing recommenders with LLM-empowered representation learning. It proposes a recommendation paradigm that integrates representation learning with LLMs to capture intricate semantic aspects of user behaviors and preferences. RLMRec incorporates auxiliary textual signals, develops a user/item profiling paradigm empowered by LLMs, and aligns the semantic space of LLMs with the representation space of collaborative relational signals through a cross-view alignment framework. This work further establish a theoretical foundation demonstrating that incorporating textual signals through mutual information maximization enhances the quality of representations. In our evaluation, we integrate RLMRec with state-of-the-art recommender models, while also analyzing its efficiency and robustness to noise data. Our implementation codes are available at https://github.com/HKUDS/RLMRec.

연구 동기 및 목표

• 텍스트 정보와 LLM의 사용을 ID 기반 추천 시스템을 보완하고 암시적 피드백의 노이즈를 완화하는 데 동기 부여한다.
• 상호 정보 최대화를 통해 텍스트 신호를 도입하면 표현 품질이 향상된다는 이론적 근거를 제시한다.
• LLMs를 활용하여 의미 프로파일을 생성하는 사용자/아이템 프로파일링 패러다임을 도입하여 선호 학습을 개선한다.
• LLM 의미 공간과 협업 관계 신호를 정렬하는 교차-뷰 정합 프레임워크를 개발한다.
• RLMRec가 최첨단 추천기와 통합될 수 있음을 입증하고 노이즈에 대한 견고성을 분석한다.

제안 방법

• 노이즈 하에서 사용자/아이템 표현을 학습하는 확률적 관점을 형식화하고 관찰된 상호작용에서 진짜 긍정치를 식별하는 데 도움이 되는 숨은 사전 z를 도입한다.
• LLM을 통해 신중하게 설계된 프롬프트(프로필 생성은 추론을 통한 프롬프트 생성)를 이용해 텍스트 보강된 사용자/아이템 프로필을 정의한다.
• 제목, 설명, 속성, 리뷰로 아이템 프로필을 구성하고 상호작용 아이템 텍스트와 리뷰로 사용자 프로필을 구성한다.
• 밀도 비율 f(s,e)를 모델링하여 두 가지 접근법으로 상호 정보를 극대화한다: (a) 코사인 유사도를 e-공간으로 매핑하는 대조적 정렬을 통해 e와 s를 함께 당겨주는 방법, (b) 의미 공간의 마스킹 자동인코더와 같은 재구성으로 생성적 정렬을 수행하는 방법.
• 어떤 추천자의 손실 L_R에도 추가되어 공동 목표 L = L_R + L_info가 되는 모델-아그노스틱 학습 프레임워크를 제시한다.
• 두 가지 구체적 구현(RLMRec-Con, 대조형; RLMRec-Gen, 생성형)을 제시하여 밀도 비율 모델링을 수행한다.

실험 결과

연구 질문

• RQ1 LLM 유도 프로필에서 얻은 텍스트 신호가 ID 기반 추천 시스템에서 학습된 표현의 품질을 향상시킬 수 있는가?
• RQ2 LLM 유도 표현의 의미 공간을 협업 관계 공간과 정렬하여 추천을 개선할 수 있는가?
• RQ3 상호 정보 최대화가 텍스트 신호를 협업 필터링에 통합하기 위한 실현 가능한 이론적 기초가 되는가?
• RQ4 LLM 강화 표현이 실제 데이터 세트에서 노이즈 및 불완전 데이터에 대한 견고성을 향상시키는가?
• RQ5 RLMRec가 기존의 최첨단 추천 모델과 효율성을 희생하지 않고 효과적으로 통합될 수 있는가?

주요 결과

• RLMRec는 데이터세트(Amazon-book, Yelp, Steam)에서 Recall 및 NDCG 지표로 기본 백본(예: LightGCN, SGL)을 일관되게 향상시킨다.
• RLMRec-Con과 RLMRec-Gen은 여러 지표와 데이터세트에서 대조 대비 개선과 통계적으로 유의미한 이득을 보인다.
• 상호 정보 기반 정렬은 표현의 노이즈 신호를 효과적으로 완화하고 추천 품질을 향상시킨다.
• 텍스트 신호를 사용할 때 노이즈 및 불완전 데이터에 대한 견고성에서 뚜렷한 개선이 나타난다.
• 프레임워크는 모델-agnostic하며 여러 백본 추천기와 호환되며 텍스트 전용 접근 방식에 비해 효율성을 유지하거나 향상시킨다.
• RLMRec 코드는 저자 저장소에서 공개적으로 이용 가능하다.