[논문 리뷰] GenRec: Large Language Model for Generative Recommendation

Jianchao Ji, Zelong Li외 5명|arXiv (Cornell University)|2023. 07. 02.

Topic Modeling인용 수 6

한 줄 요약

GenRec는 사용자 및 아이템의 텍스트 기반 설명을 활용하여 자연어 프롬프트를 통해 직접 대상 아이템을 생성하는 LLM 기반의 생성형 추천 프레임워크를 제안한다. 특수한 프롬프팅과 상호작용 데이터에 대한 피지컬 튜닝을 통해 사용자 선호도와 아이템 의미를 효과적으로 통합함으로써, MovieLens 25M와 같은 대규모 데이터셋에서 기존 방법들을 능가한다.

ABSTRACT

In recent years, large language models (LLM) have emerged as powerful tools for diverse natural language processing tasks. However, their potential for recommender systems under the generative recommendation paradigm remains relatively unexplored. This paper presents an innovative approach to recommendation systems using large language models (LLMs) based on text data. In this paper, we present a novel LLM for generative recommendation (GenRec) that utilized the expressive power of LLM to directly generate the target item to recommend, rather than calculating ranking score for each candidate item one by one as in traditional discriminative recommendation. GenRec uses LLM's understanding ability to interpret context, learn user preferences, and generate relevant recommendation. Our proposed approach leverages the vast knowledge encoded in large language models to accomplish recommendation tasks. We first we formulate specialized prompts to enhance the ability of LLM to comprehend recommendation tasks. Subsequently, we use these prompts to fine-tune the LLaMA backbone LLM on a dataset of user-item interactions, represented by textual data, to capture user preferences and item characteristics. Our research underscores the potential of LLM-based generative recommendation in revolutionizing the domain of recommendation systems and offers a foundational framework for future explorations in this field. We conduct extensive experiments on benchmark datasets, and the experiments shows that our GenRec has significant better results on large dataset.

연구 동기 및 목표

• 생성형 추천에서 기존의 판별형 순위 매기기 접근 방식을 넘어서 대규모 언어 모델(LLM)의 잠재력을 탐색하는 것.
• 냉각 기간 문제와 데이터 희소성 등의 제약을 해결하기 위해 아이템 설명의 풍부한 텍스트 정보를 활용함으로써 협업 필터링 및 콘텐츠 기반 필터링의 한계를 보완하는 것.
• 개별 후보를 점수 매기는 대신 직접 추천 아이템을 생성하는 유연한 LLM 기반 프레임워크를 개발하는 것.
• 프롬프트 엔지니어링과 피지컬 튜닝이 개인화된 추천 작업을 위한 LLM 성능 향상에 기여하는지 입증하는 것.
• 향후 LLM 기반 생성형 추천 시스템 연구의 기반을 마련하는 것.

제안 방법

• LLM이 추천 작업과 사용자-아이템 상호작용을 이해하도록 도와주는 전문화된 자연어 프롬프트를 구성하는 것.
• 사용자 이력과 아이템 설명을 포함한 텍스트 시퀀스로 표현된 사용자-아이템 상호작용 데이터를 기반으로 LLaMA 기반 LLM을 피지컬 튜닝하는 것.
• 모델이 순서 기반 생성 방식을 통해 후보 점수를 계산하는 대신, 맥락 기반으로 다음 아이템을 직접 생성하는 방식을 사용하는 것.
• 사용자 이력, 아이템 특성(예: 제목, 카테고리) 및 생성 지시어를 포함한 프롬프트 템플릿을 활용하여 목표 아이템 예측을 유도하는 것.
• 4개의 A5000 GPU에서 5 에포크 동안 최대 입력 길이 256 토큰으로, 학습률 스케줄링을 포함한 AdamW 옵timizer를 사용하여 모델을 훈련하는 것.
• 사용자 상호작용 시퀀스와 아이템 텍스트 메타데이터(예: 제목, 카테고리)를 모두 입력으로 활용하여 모델의 선호도 및 아이템 관련성 이해를 향상시키는 것.

실험 결과

연구 질문

• RQ1 대규모 언어 모델(LLM)이 후보를 순위 매기는 대신 직접 추천을 생성하는 데 효과적으로 활용될 수 있는가?
• RQ2 텍스트 기반 아이템 설명과 사용자 상호작용 이력을 통합할 경우 생성형 환경에서 추천 성능이 어떻게 향상되는가?
• RQ3 상호작용 데이터에 대한 프롬프트 엔지니어링과 피지컬 튜닝이 LLM 기반 생성형 추천에 크게 기여하는가?
• RQ4 대규모 데이터셋에서 기존의 LLM 기반 추천 모델인 P5와 비교해 GenRec의 성능은 어떠한가?
• RQ5 풍부한 상호작용 데이터를 가진 대규모 희소 데이터셋에 대해 생성형 추천 파라다임이 효과적으로 스케일업될 수 있는가?

주요 결과

• GenRec는 MovieLens 25M 데이터셋에서 기준 모델보다 훨씬 뛰어난 성능을 보이며, 특히 히트 비율(HR)과 정규화된 할인 누적 수익(NDCG) 지표에서 뛰어난 성능을 보였다.
• MovieLens 25M 데이터셋에서 GenRec는 강력한 기준 모델인 P5를 능가하여 대규모 상호작용 데이터와 텍스트 특징을 효과적으로 활용함을 시사한다.
• 모델은 대규모 데이터셋에서 뛰어난 일반화 성능을 보이며, LLM을 통한 의미 정보 통합이 추천 정확도 향상에 기여함을 시사한다.
• 상호작용 데이터가 풍부한 환경에서 GenRec의 성능이 특히 뛰어나, 풍부한 텍스트 및 행동적 맥락을 활용하는 데서 유의미한 이점이 있음을 보여준다.
• 이 프레임워크는 다양한 LLM에 쉽게 적용 가능하므로, 다양한 모델 아키텍처에 광범위하게 적용 가능함을 시사한다.
• https://github.com/rutgerswiselab/GenRec에서 코드와 데이터를 오픈소스로 제공함으로써 재현 가능성과 생성형 추천 분야의 향후 연구를 지원한다.