[논문 리뷰] Chat-REC: Towards Interactive and Explainable LLMs-Augmented Recommender System

Yunfan Gao, Tao Sheng외 4명|arXiv (Cornell University)|2023. 03. 25.

Topic Modeling인용 수 64

한 줄 요약

Chat-Rec은 다중 라운드, 대화형 및 설명 가능한 추천을 가능하게 하기 위해 컨텍스트 기반 프롬프트로 추천 시스템을 확장하며, 도메인 간 및 콜드 스타트 처리 포함.

ABSTRACT

Large language models (LLMs) have demonstrated their significant potential to be applied for addressing various application tasks. However, traditional recommender systems continue to face great challenges such as poor interactivity and explainability, which actually also hinder their broad deployment in real-world systems. To address these limitations, this paper proposes a novel paradigm called Chat-Rec (ChatGPT Augmented Recommender System) that innovatively augments LLMs for building conversational recommender systems by converting user profiles and historical interactions into prompts. Chat-Rec is demonstrated to be effective in learning user preferences and establishing connections between users and products through in-context learning, which also makes the recommendation process more interactive and explainable. What's more, within the Chat-Rec framework, user's preferences can transfer to different products for cross-domain recommendations, and prompt-based injection of information into LLMs can also handle the cold-start scenarios with new items. In our experiments, Chat-Rec effectively improve the results of top-k recommendations and performs better in zero-shot rating prediction task. Chat-Rec offers a novel approach to improving recommender systems and presents new practical scenarios for the implementation of AIGC (AI generated content) in recommender system studies.

연구 동기 및 목표

• 전통적인 추천 시스템의 대화 가능성(interactivity)과 설명 가능성 격차를 해결하는 것을 목표로 한다.
• LLMs를 활용해 맥락으로부터 사용자 선호를 학습하는 프롬프트 기반 인터페이스를 제안한다.
• 도메인 간 사용자 선호를 아이템 도메인 간에 전달하여 교차 도메인 추천을 가능하게 한다.
• 외부 정보를 통합하여 신규 아이템의 콜드 스타트 문제를 다룬다.
• 실세계 데이터에서 top-k 추천과 제로샷 평점 예측의 효과를 입증한다.

제안 방법

• 전통적 추천 시스템과 LLM을 연결하여 사용자 프로필과 히스토리를 프롬프트로 변환해 ChatGPT 기반 추천을 안내한다.
• 입력 주도 프롬프트 생성기를 사용하여 사용자 이력, 프로필, 쿼리, 대화 이력을 모아 맞춤형 프롬프트를 생성한다.
• LLMs가 인-context 학습과 추론을 통해 후보 집합을 필터링하고 재순위할 수 있도록 한다.
• 외부 아이템 정보를 통합하여 신규 아이템의 임베딩을 생성하고 유사 아이템을 검색함으로써 콜드 스타트를 처리한다.
• 영화관의 취향을 기반으로 비영화 아이템을 추천하도록 LLM의 교차 도메인 전이를 가능하게 하여 도메인 간 전이를 시연한다.
• 다수의 GPT-3.5 패밀리 모델과 함께 MovieLens 100K에서 top-k 추천 및 제로샷 평점 예측을 평가한다.

Figure 1 : Overview of Chat-Rec . The left side shows a dialogue between a user and ChatGPT. The middle side shows the flowchart to how Chat-Rec links traditional recommender systems with conversational AI such as ChatGPT. The right side describes the specific judgment in the process.

실험 결과

연구 질문

• RQ1 추가 학습 없이도 맥락 학습으로 보강된 LLM이 top-k 추천 성능을 향상시킬 수 있는가?
• RQ2 프롬프트 설계가 인터랙티브하고 설명 가능한 추천의 품질에 어떤 영향을 미치는가?
• RQ3 시스템이 도메인 간 및 콜드 스타트 추천을 효과적으로 지원할 수 있는가?
• RQ4 후보 집합의 구성 및 정렬 순서가 최종 랭킹에서 차지하는 역할은 무엇인가?
• RQ5 다른 LLM 백본(GPT-3.5 변형)들 간에 추천 및 평점 예측 작업에서 유의미한 차이가 있는가?

주요 결과

모델	정밀도	재현율	NDCG
LightFM	0.2830	0.1410	0.2846
LightGCN	0.3030	0.1455	0.3425
Chat-Rec (gpt-3.5-turbo)	0.3103	0.1279	0.3696
Chat-Rec (text-davinci-003)	0.3240 (+6.93%)	0.1404 (-3.51%)	0.3802 (+11.01%)
Chat-Rec (text-davinci-002)	0.3031	0.1240	0.3629

• Chat-Rec은 MovieLens 100K에서 테스트된 GPT-3.5 모델들에 대해 LightGCN보다 top-k 추천 메트릭을 개선한다.
• text-davinci-003은 정밀도 0.3240, 재현율 0.1404, NDCG 0.3802로 최고의 top-k 결과를 달성한다.
• 평점 예측에서 text-davinci-003은 테스트 모델 중 가장 좋은 RMSE 0.785와 MAE 0.593를 보인다.
• 변수 제거(ablation)는 프롬프트 설계와 top-1 베이스라인 배경의 포함이 NDCG에 유의미한 영향을 주며, 온도와 프롬프트 순서도 성능에 영향을 준다.
• Chat-Rec은 명시적 추천자 학습 없이도 큰 후보 세트를 크게 재순위하고 재정제할 수 있어 관련성을 향상시킨다.

Figure 2 : Case study of interactive recommendation. It shows two conversations between different users and LLM . Where the user profile and historical users are converted into corresponding prompts for personalized recommendations, but the input of this part of the prompts is not visible to the use