[논문 리뷰] GPT4Rec: A Generative Framework for Personalized Recommendation and User Interests Interpretation

Jinming Li, Wentao Zhang외 4명|arXiv (Cornell University)|2023. 04. 08.

Topic Modeling인용 수 12

한 줄 요약

GPT4Rec은 추천을 질의 생성과 검색으로 다루며, GPT-2 기반 언어 모델을 사용해 다양하고 해석 가능한 사용자 관심 질의를 생성하고 BM25로 아이템을 검색하여 Recall@K를 향상시키고 해석 가능성과 콜드 스타트 처리 기능을 제공합니다.

ABSTRACT

Recent advancements in Natural Language Processing (NLP) have led to the development of NLP-based recommender systems that have shown superior performance. However, current models commonly treat items as mere IDs and adopt discriminative modeling, resulting in limitations of (1) fully leveraging the content information of items and the language modeling capabilities of NLP models; (2) interpreting user interests to improve relevance and diversity; and (3) adapting practical circumstances such as growing item inventories. To address these limitations, we present GPT4Rec, a novel and flexible generative framework inspired by search engines. It first generates hypothetical "search queries" given item titles in a user's history, and then retrieves items for recommendation by searching these queries. The framework overcomes previous limitations by learning both user and item embeddings in the language space. To well-capture user interests with different aspects and granularity for improving relevance and diversity, we propose a multi-query generation technique with beam search. The generated queries naturally serve as interpretable representations of user interests and can be searched to recommend cold-start items. With GPT-2 language model and BM25 search engine, our framework outperforms state-of-the-art methods by $75.7\%$ and $22.2\%$ in Recall@K on two public datasets. Experiments further revealed that multi-query generation with beam search improves both the diversity of retrieved items and the coverage of a user's multi-interests. The adaptiveness and interpretability of generated queries are discussed with qualitative case studies.

연구 동기 및 목표

• 추천에서 아이템 ID를 넘어 아이템 콘텐츠와 NLP 언어 모델링을 활용하는 동기를 부여합니다.
• 사용자와 아이템에 대한 언어 공간 임베딩을 학습하는 생성적 프레임워크를 제안합니다.
• 빔 탐색을 통해 다중 질의를 생성하여 사용자 관심의 다양하고 해석 가능한 표현을 제공합니다.
• 콜드 스타트 및 진화하는 아이템 재고에 효과적으로 대응하면서 관련성과 다양성을 향상시킵니다.

제안 방법

• 사용자 이력 아이템 타이틀을 프롬프트로 포맷하고 GPT-2를 미세조정하여 사용자와 아이템의 언어 공간 임베딩을 학습합니다.
• 빔 탐색을 사용해 다양한 관점의 사용자 관심을 포착하는 다중 질의를 생성합니다.
• BM25를 검색 구분기로 사용하여 각 생성 질의에 대한 아이템을 검색하고 결과를 모아 관련성과 다양성의 균형을 맞춥니다.
• 언어 모델과 BM25 매개변수를 각각 학습합니다(아이템 이력에 대한 대조적 미세조정; BM25의 ks와 b를 그리드 탐색).
• 다중 질의의 검색 결과를 순위 기반으로 집계해 최종 추천 목록을 형성합니다.

실험 결과

연구 질문

• RQ1 생성적 언어 모델이 개인화된 추천을 위해 풍부한 아이템 콘텐츠 정보와 사용자 관심을 포착할 수 있습니까?
• RQ2 다중 질의 빔 탐색이 사용자 관심의 다양하고 해석 가능한 표현을 생성하여 기억 여부(Recall)와 커버리지를 향상시키나요?
• RQ3 GPT4Rec 프레임워크는 질의 기반 검색을 통해 콜드 스타트와 진화하는 아이템 재고를 어떻게 처리하나요?
• RQ4 생성된 질의와 BM25 검색을 결합하는 것이 사용자 관심의 다양성과 커버리지에 어떤 영향을 미치나요?

주요 결과

데이터셋	Recall@K	FM-BPR	ContentRec	YouTubeDNN	BERT4Rec	GPT4Rec
Beauty	5	0.0356	0.0254	0.0376	0.0355	0.0653
Beauty	10	0.0499	0.0440	0.0549	0.0513	0.0810
Beauty	20	0.0716	0.0644	0.0753	0.0816	0.1027
Beauty	40	0.1040	0.0952	0.1066	0.1161	0.1297
Electronics	5	0.0345	0.0241	0.0352	0.0362	0.0434
Electronics	10	0.0387	0.0307	0.0435	0.0451	0.0480
Electronics	20	0.0441	0.0391	0.0539	0.0573	0.0524
Electronics	40	0.0505	0.0494	0.0684	0.0751	0.0574

• GPT4Rec는 두 공개 데이터셋에서 baselines 대비 Recall@K를 개선했으며, K가 증가할수록 뚜렷한 이점을 보였습니다(예: Beauty 및 Electronics에서 Recall@40이 경쟁 방법 대비 상당한 이점을 보임).
• 다중 질의 빔 탐색은 검색된 아이템의 관련성과 다양성을 모두 향상시키며, K개의 질의를 생성하고 질의당 한 아이템을 검색할 때 가장 좋은 Recall@K를 달성합니다.
• Diversity@K 및 Coverage@K 지표는 더 많은 질의에서 증가하여 사용자 관심의 표현이 더 풍부하고 아이템 노출이 더 넓어짐을 시사합니다.
• 생성된 질의가 사용자 관심의 인간이 이해할 수 있는 표현으로 해석 가능하며 다면적 선호를 효과적으로 처리하는 사례 연구 및 정성 분석이 제시됩니다.
• 프레임워크는 더 진보된 언어 모델과 검색 엔진을 통합하여 성능을 더욱 향상시키는 데 유연합니다.