[논문 리뷰] Collaborative Large Language Model for Recommender Systems

Yaochen Zhu, Liang Wu외 3명|arXiv (Cornell University)|2023. 11. 02.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(LLM)과 기존 ID 기반 추천 시스템 간의 밀접한 통합을 통해, 사용자/아이템 ID 토큰을 LLM의 어휘에 확장하고 소프트+하드 프롬프팅 전략을 사용하여 공동 및 콘텐츠 의미를 동시에 모델링하는 CLLM4Rec를 제안한다. 상호 정규화와 추천 중심의 피니테인팅을 통해 최신 기술 수준의 성능을 달성하며, LLM의 백본을 재학습하지 않아도 효율적이고 환각 없는 다중 항목 생성이 가능하다.

ABSTRACT

Recently, there has been growing interest in developing the next-generation recommender systems (RSs) based on pretrained large language models (LLMs). However, the semantic gap between natural language and recommendation tasks is still not well addressed, leading to multiple issues such as spuriously correlated user/item descriptors, ineffective language modeling on user/item data, inefficient recommendations via auto-regression, etc. In this paper, we propose CLLM4Rec, the first generative RS that tightly integrates the LLM paradigm and ID paradigm of RSs, aiming to address the above challenges simultaneously. We first extend the vocabulary of pretrained LLMs with user/item ID tokens to faithfully model user/item collaborative and content semantics. Accordingly, a novel soft+hard prompting strategy is proposed to effectively learn user/item collaborative/content token embeddings via language modeling on RS-specific corpora, where each document is split into a prompt consisting of heterogeneous soft (user/item) tokens and hard (vocab) tokens and a main text consisting of homogeneous item tokens or vocab tokens to facilitate stable and effective language modeling. In addition, a novel mutual regularization strategy is introduced to encourage CLLM4Rec to capture recommendation-related information from noisy user/item content. Finally, we propose a novel recommendation-oriented finetuning strategy for CLLM4Rec, where an item prediction head with multinomial likelihood is added to the pretrained CLLM4Rec backbone to predict hold-out items based on soft+hard prompts established from masked user-item interaction history, where recommendations of multiple items can be generated efficiently without hallucination. Codes are released at https://github.com/yaochenzhu/llm4rec.

연구 동기 및 목표

• LLM 기반 추천 시스템에서 자연어와 추천 작업 간의 의미 갭을 해소하기 위해.
• ID 토큰화에서 발생하는 허구적 상관관계와 사용자/아이템 데이터에 대한 낮은 언어 모델링 성능 문제를 해결하기 위해.
• LLM 백본을 재학습하지 않고도 효율적이고 다중 항목 추천 생성이 가능한 통합 LLM 아키텍처를 제공하기 위해.
• 목표 추천 시스템 의미에 맞게 맞춤형 피니테인팅을 통해 사전 학습된 LLM 지식을 유지하면서 추천에 특화된 의미로 적응하기 위해.
• 통합 LLM 기반 아키텍처에서 상호 정규화를 통해 공동 및 콘텐츠 신호를 융합하는 효과를 입증하기 위해.

제안 방법

• 사용자 및 아이템 ID 토큰을 전처리된 LLM의 어휘에 추가하여 사용자와 아이템을 토큰 공간에서 직접 표현한다.
• 이질적인 소프트(사용자/아이템) 토큰과 하드(어휘) 토큰으로 구성된 소프트+하드 프롬프팅 전략을 도입하여 RS 전용 코퍼스에서 안정적이고 효과적인 언어 모델링을 가능하게 한다.
• 협동 LLM과 콘텐츠 LLM 간의 지식 공유를 장려하는 상호 정규화 전략을 적용하여 노이즈가 있는 사용자/아이템 콘텐츠에 대한 강건성을 향상시킨다.
• 마스크된 상호작용 기록에서 다수의 항목을 효율적으로 생성할 수 있도록 다항분포 기반의 항목 예측 헤드를 사용하는 추천 중심의 피니테인팅 전략을 제안한다.
• 이중 단계 학습 프로세스를 사용한다: 첫 번째 단계는 소프트+하드 프롬프팅을 통한 공동 및 콘텐츠 모델링을 위한 상호 정규화; 두 번째 단계는 추론 효율성을 높이기 위한 전용 예측 헤드를 사용한 피니테인팅.
• 학습된 사용자 및 아이템 토큰 임베딩을 128차원으로 프로젝션하여 산업적 구현을 위한 경량 임베딩 기반(클래스 CLLM4Rec-Emb)을 생성한다.

실험 결과

연구 질문

• RQ1 LLM에 사용자/아이템 ID 토큰을 통합하는 것이 자연어와 추천 작업 간의 의미 갭을 효과적으로 해소할 수 있는가?
• RQ2 소프트+하드 프롬프팅 전략은 하이브리드 사용자-아이템 상호작용 및 콘텐츠 데이터에서 언어 모델링의 안정성과 효과를 어떻게 향상시키는가?
• RQ3 협동 LLM과 콘텐츠 LLM 간의 상호 정규화가 노이즈가 있는 사용자/아이템 특성에 대해 강건성을 향상시키는가?
• RQ4 추천 중심의 피니테인팅 전략은 LLM의 사전 학습 지식을 유지하면서도 환각 없이 효율적인 다중 항목 생성을 가능하게 하는가?
• RQ5 CLLM4Rec는 오프라인 평가와 실제 산업 환경에서의 구현 사례 모두에서 강력한 베이스라인과 비교해 어떻게 성능을 발휘하는가?

주요 결과

• CLLM4Rec는 LinkedIn에서 사용하는 이중 타워 모델을 포함한 강력한 베이스라인을 LinkedIn 데이터셋에서 크게 앞서며, 실제 환경에서의 효과성을 입증한다.
• AM-Beauty, AM-Toys, AM-Sports, Yelp 데이터셋에서 CLLM4Rec는 모든 메트릭에서 일관된 향상으로 최신 기술 수준의 성능을 달성한다.
• 아블레이션 연구 결과, LLM 백본의 전체적인 피니테인팅은 성능을 악화시키며, 사전 학습 지식 유지가 핵심임을 시사한다.
• 최적의 상호 정규화 강도는 λc = 1 근처이며, 이는 모든 데이터셋에서 성능이 최고조에 이를 때 확인되며 균형 잡힌 정규화의 중요성을 확인한다.
• CLLM4Rec-Emb는 학습된 사용자 및 아이템 토큰 임베딩만을 사용하는 경량 버전으로, 원본 이중 타워 모델과 M6-Retrieval을 모두 능가하며 저지연 산업적 구현의 강력한 잠재력을 보여준다.
• 추천 중심의 피니테인팅 전략은 환각 없이 효율적인 다중 항목 생성을 가능하게 하며, 자동회귀 기반 베이스라인 대비 추론 효율성을 크게 향상시킨다.