[논문 리뷰] Zero-Shot Next-Item Recommendation using Large Pretrained Language Models

Lei Wang, Ee‐Peng Lim|arXiv (Cornell University)|2023. 04. 06.

Topic Modeling인용 수 22

한 줄 요약

본 논문은 GPT-3를 이용한 Zero-Shot Next-Item Recommendation(NIR) 프롬프트 전략을 세 단계로 제시하여 후보 세트를 구성하고 사용자 선호도와 대표 영화 선정을 통해 다단계 프롬트를 안내하며, MovieLens 100K에서 제로샷 결과를 경쟁력 있게 달성한다.

ABSTRACT

Large language models (LLMs) have achieved impressive zero-shot performance in various natural language processing (NLP) tasks, demonstrating their capabilities for inference without training examples. Despite their success, no research has yet explored the potential of LLMs to perform next-item recommendations in the zero-shot setting. We have identified two major challenges that must be addressed to enable LLMs to act effectively as recommenders. First, the recommendation space can be extremely large for LLMs, and LLMs do not know about the target user's past interacted items and preferences. To address this gap, we propose a prompting strategy called Zero-Shot Next-Item Recommendation (NIR) prompting that directs LLMs to make next-item recommendations. Specifically, the NIR-based strategy involves using an external module to generate candidate items based on user-filtering or item-filtering. Our strategy incorporates a 3-step prompting that guides GPT-3 to carry subtasks that capture the user's preferences, select representative previously watched movies, and recommend a ranked list of 10 movies. We evaluate the proposed approach using GPT-3 on MovieLens 100K dataset and show that it achieves strong zero-shot performance, even outperforming some strong sequential recommendation models trained on the entire training dataset. These promising results highlight the ample research opportunities to use LLMs as recommenders. The code can be found at https://github.com/AGI-Edgerunners/LLM-Next-Item-Rec.

연구 동기 및 목표

• 전통적으로 학습된 모델을 넘어 LLM을 활용한 제로샷 차기 아이템 추천 탐구를 촉진한다.
• 미세 조정 없이 아이템 공간을 제약하고 사용자의 선호를 포착하기 위한 프롬프트 전략을 개발한다.
• 구조화된 프롬프트가 MovieLens 100K에서 경쟁력 있는 제로샷 추천을 낳을 수 있음을 보여준다.

제안 방법

• 추천 공간을 좁히기 위해 사용자 필터링 또는 아이템 필터링을 사용하여 각 사용자당 후보 아이템 세트를 구성한다.
• 세 단계의 GPT-3 프롬프트 프로세스를 적용한다: Step 1은 시청 항목으로부터 사용자의 선호를 요약; Step 2는 대표적인 이전에 시청한 영화를 선택; Step 3은 후보 세트에서 10편의 순위가 매겨진 영화를 추천한다.
• 3단계의 응답을 추천 항목의 간단한 추출이 가능하도록 형식화한다(예: 특정 형식 힌트).
• 메트릭으로 HR@10과 NDCG@10을 사용하여 MovieLens 100K에서 GPT-3(text-davinci-003)로 평가한다.

Figure 1. Example inputs and outputs of GPT-3 with zero-shot prompting for a NLP task and a recommendation task.

실험 결과

연구 질문

• RQ1 구조화된 프롬프트로 안내될 때 대형 사전학습 언어모델이 제로샷 설정에서 차기 아이템 추천을 수행할 수 있는가?
• RQ2 후보 세트와 다단계 프롬프트를 통해 아이템 공간을 제약하는 것이 제로샷 추천 정확도를 향상시키는가?
• RQ3 다양한 프롬프트 구성 요소(사용자 선호도, 대표 영화 선택, 형식화)가 성능에 어떤 영향을 미치는가?
• RQ4 제로샷 NIR이 MovieLens 100K에서 강력한 학습 기반 베이스라인 및 다른 제로샷 접근법과 비교하여 어떤가?

주요 결과

• 제로샷 NIR 프롬프트는 간단한 제로샷 프롬프트와 무작위 후보 기반 대비에서 큰 차이로 우수한 성능을 보인다.
• NIR 방법은 후보 세트와 다단계 프롬프트를 갖춘 경우 MovieLens 100K에서 완전히 학습된 순차 모델과 경쟁력이 있다.
• 사용자 필터링 후보 세트(UF)가 일반적으로 아이템 필터링 세트(IF)보다 더 나은 성능을 낸다.
• 중간 결과를 포함하도록 프롬프트를 분리하는(다단계 프롬프트) 것이 단일 프롬프트로 모든 단계를 합치는 것보다 더 나은 성능을 낸다.

Figure 2. Zero-Shot NIR prompts. The ground truth movie (i.e., The Rock) has been highlighted in red .