[논문 리뷰] Recommender Systems in the Era of Large Language Models (LLMs)

Zihuai Zhao, Wenqi Fan외 9명|arXiv (Cornell University)|2023. 07. 05.

Topic Modeling인용 수 29

한 줄 요약

이 논문은 대형 언어 모델이 추천 시스템에 통합되는 방법에 대해 포괄적으로 조사하고, 사전 학습, 미세 조정, 프례팅 패러다임을 다루며 향후 방향을 제시합니다.

ABSTRACT

With the prosperity of e-commerce and web applications, Recommender Systems (RecSys) have become an important component of our daily life, providing personalized suggestions that cater to user preferences. While Deep Neural Networks (DNNs) have made significant advancements in enhancing recommender systems by modeling user-item interactions and incorporating textual side information, DNN-based methods still face limitations, such as difficulties in understanding users' interests and capturing textual side information, inabilities in generalizing to various recommendation scenarios and reasoning on their predictions, etc. Meanwhile, the emergence of Large Language Models (LLMs), such as ChatGPT and GPT4, has revolutionized the fields of Natural Language Processing (NLP) and Artificial Intelligence (AI), due to their remarkable abilities in fundamental responsibilities of language understanding and generation, as well as impressive generalization and reasoning capabilities. As a result, recent studies have attempted to harness the power of LLMs to enhance recommender systems. Given the rapid evolution of this research direction in recommender systems, there is a pressing need for a systematic overview that summarizes existing LLM-empowered recommender systems, to provide researchers in relevant fields with an in-depth understanding. Therefore, in this paper, we conduct a comprehensive review of LLM-empowered recommender systems from various aspects including Pre-training, Fine-tuning, and Prompting. More specifically, we first introduce representative methods to harness the power of LLMs (as a feature encoder) for learning representations of users and items. Then, we review recent techniques of LLMs for enhancing recommender systems from three paradigms, namely pre-training, fine-tuning, and prompting. Finally, we comprehensively discuss future directions in this emerging field.

연구 동기 및 목표

• 연구의 동기를 제시하며 텍스트를 이해하고 보지 않은 작업으로 일반화하는 데 있어 DNN 기반 추천 시스템의 한계를 식별합니다.
• LLMs가 사용자 및 아이템Representations 학습을 강화하는 방법을 요약합니다.
• 문헌을 사전 학습, 미세 조정, 프례팅 패러다임으로 정리하여 향후 연구와 실천을 안내합니다.
• RecSys에서 LLM 활용의 도전 과제와 향후 방향에 대해 논의합니다.

제안 방법

• ID 기반 및 텍스트 측 정보 강화 접근 방식으로 기존 LLM-활용 추천 시스템을 평가하고 분류합니다.
• 사전 학습, 미세 조정, 프례팅의 세 가지 패러다임 하에서 LLM 기반 기술을 요약합니다.
• 평가 예시로 등급 예측, 순차적 추천, 설명 가능/대화형 추천과 같은 대표적 방법과 작업을 강조합니다.
• 색인화 체계, 어댑터, 프례트 기반 학습 등의 방법론적 측면을 논의합니다.
• 도전 과제를 식별하고 향후 연구 방향을 제시합니다.

실험 결과

연구 질문

• RQ1 RecSys에서 사용자/아이템 표현을 학습하는 대표적 방법은 무엇인가요( ID 기반 vs 텍스트 측 정보)?
• RQ2 사전 학습, 미세 조정, 프례팅 패러다임이 RecSys 성능과 능력에 어떻게 기여하나요?
• RQ3 LLM을 추천 시스템에 통합하는 데 있어 주요 도전 과제와 유망한 방향은 무엇인가요?

주요 결과

• LLMs는 전통적인 ID 기반 접근 방식 너머의 추천 작업을 지원하기 위해 더 풍부한 언어 이해와 추론을 가능하게 한다.
• 세 가지 주요 패러다임—사전 학습, 미세 조정, 프례팅—이 RecSys에 LLM을 적용하기 위한 핵심 도구로 구성된다.
• 프례팅 기법, 맥락 내 학습, 체인 오브 thought 프례팅은 추천의 추론 및 설명 가능성을 향상시킬 수 있다.
• 미세 조정 전략은 전체 모델부터 파라미터 효율적 방법까지 다양하며 성능과 계산 비용의 균형을 이룬다.
• 텍스트 측 정보는 특정 설정에서 ID 기반 표현을 보완하거나 능가하여 작업 간 일반화를 향상시킬 수 있다.