[논문 리뷰] Large Language Model Simulator for Cold-Start Recommendation

Feiran Huang, Yuanchen Bei외 7명|arXiv (Cornell University)|2024. 02. 14.

Topic Modeling인용 수 6

한 줄 요약

LLM-InS는 차가운 시작 아이템에 대해 시뮬레이션 상호작용을 생성하고 정제하는 대형 언어 모델 상호작용 시뮬레이터를 도입하여 차가운 아이템과 따뜻한 아이템의 학습을 통합하고 최첨단 기법 대비 차가운 시작 추천에서 우수한 성능을 달성합니다.

ABSTRACT

Recommending cold items remains a significant challenge in billion-scale online recommendation systems. While warm items benefit from historical user behaviors, cold items rely solely on content features, limiting their recommendation performance and impacting user experience and revenue. Current models generate synthetic behavioral embeddings from content features but fail to address the core issue: the absence of historical behavior data. To tackle this, we introduce the LLM Simulator framework, which leverages large language models to simulate user interactions for cold items, fundamentally addressing the cold-start problem. However, simply using LLM to traverse all users can introduce significant complexity in billion-scale systems. To manage the computational complexity, we propose a coupled funnel ColdLLM framework for online recommendation. ColdLLM efficiently reduces the number of candidate users from billions to hundreds using a trained coupled filter, allowing the LLM to operate efficiently and effectively on the filtered set. Extensive experiments show that ColdLLM significantly surpasses baselines in cold-start recommendations, including Recall and NDCG metrics. A two-week A/B test also validates that ColdLLM can effectively increase the cold-start period GMV.

연구 동기 및 목표

• 새 아이템에 대한 과거 상호작용 부재로 인한 협업 필터링의 차가운 시작 문제를 강조한다.
• 콘텐츠 기반 및 행동 신호를 사용하여 차아이템에 대한 사용자-아이템 상호작용을 시뮬레이션하기 위해 LLM-InS를 제안한다.
• 차가운 아이템에 대한 시뮬레이션된 상호작용을 효율적으로 생성하고 활용하기 위한 필터링-정제 워크플로우를 개발한다.
• 시뮬레이션된 상호작용과 실제 상호작용을 모두 활용하는 단일 추천 프레임워크 내에서 차가운 아이템과 따뜻한 아이템의 학습을 통합한다.

제안 방법

• 차가운 아이템의 콘텐츠 특징으로부터 사용자 행동을 모델링하기 위한 LLM 상호작용 시뮬레이터(LLM-InS)를 도입한다.
• 임베딩 기반 필터링 단계와 프롬프트 기반 정제 단계로 구성된 계층적 상호작용 시뮬레이터를 설계한다.
• 지시/입력/출력 학습을 통해 상호작용을 쌍(pairwise)으로 시뮬레이션하고 추천자 임베딩과 일치시키도록 LLM을 수정한다.
• 후보 사용자 선정을 위한 필터링 메커니즘(Llama Subtower 및 Collaborative Subtower)을 사용하고 상호작용을 정제한다.
• LLM과의 Q&A 스타일 프롬프트를 통해 시뮬레이션된 상호작용을 정제하는 프롬프트 체계를 고안한다.
• 시뮬레이션된 차가운 아이템 상호작용과 실제 따뜻한 아이템 상호작용을 결합하여 임베딩을 업데이트하고 공통 CF 백본(MF, LightGCN, NGCF)을 재학습한다.

실험 결과

연구 질문

• RQ1 LLM-InS가 전체, 차가운 시작, 그리고 따뜻한 작업에서 최첨단 차가운 시작 추천 모델을 능가할 수 있는가?
• RQ2 성능에 대한 각 구성요소(임베딩 필터링, 정제 프롬프트, 임베딩 업데이트)의 기여도는 무엇인가?
• RQ3 세부 튜닝된 LLM 기반 접근법(LLM-InS)이 차가운 시작 시나리오에서 기존의 LLM 기반 추천모델을 이길 수 있는가?

주요 결과

• LLM-InS는 오프라인 평가에서 전체, 차가운 시작 및 따뜻한 추천에서 아홉 가지 최첨단 차가운 시작 방법과 세 가지 LLM 모델을 능가한다.
• 정제 단계와 임베딩 필터링의 중요성이 성능 향상에 기여한다는 것을 부가 분석에서 보여준다.
• CiteULike 및 MovieLens에서 백본(MF, NGCF, LightGCN) 전반에 걸쳐 Recall@20 및 NDCG@20의 상대적 향상을 크게 나타낸다.
• 임베딩 업데이트 단계가 차가운 아이템과 따뜻한 아이템 간 분포를 정렬하는 데 도움을 주어 업데이트 후 모든 지표에서 성능이 향상된다.