[논문 리뷰] Large Language Models for Generative Recommendation: A Survey and Visionary Discussions

Lei Li, Yongfeng Zhang외 2명|arXiv (Cornell University)|2023. 09. 03.

Topic Modeling인용 수 11

한 줄 요약

대형 언어 모델이 단일 단계 생성형 추천 시스템으로 어떻게 작동할 수 있는지에 대한 고찰로, 정의, ID 구성, 작업 형식, 그리고 향후 방향을 제시한다.

ABSTRACT

Large language models (LLM) not only have revolutionized the field of natural language processing (NLP) but also have the potential to reshape many other fields, e.g., recommender systems (RS). However, most of the related work treats an LLM as a component of the conventional recommendation pipeline (e.g., as a feature extractor), which may not be able to fully leverage the generative power of LLM. Instead of separating the recommendation process into multiple stages, such as score computation and re-ranking, this process can be simplified to one stage with LLM: directly generating recommendations from the complete pool of items. This survey reviews the progress, methods, and future directions of LLM-based generative recommendation by examining three questions: 1) What generative recommendation is, 2) Why RS should advance to generative recommendation, and 3) How to implement LLM-based generative recommendation for various RS tasks. We hope that this survey can provide the context and guidance needed to explore this interesting and emerging topic.

연구 동기 및 목표

• 권고 시스템이 LLM을 사용한 생성적이고 단일 단계의 추천으로 나아가야 하는 이유를 제시한다.
• 항목/항목-사용자 ID를 LLM과 호환되는 토큰 시퀀스로 일반화하여 큰 아이템 풀에서의 생성을 가능하게 한다.
• 일반적인 RS 작업들(평점, 상위-N, 순차, 설명 가능, 리뷰 관련, 대화형)을 LLM 프레임워크 안에서 체계적으로 분류하고 형식화한다.
• LLM 기반 생성형 추천 구현을 위한 ID 생성 방법 및 실용적 고려사항에 관한 가이드를 제공한다.
• 환각, 편향, 투명성, 제어성, 효율성, 다중 모달 확장과 같은 도전과 기회에 대해 논의한다.

제안 방법

• 생성적 추천을 다단계 점수 산정이 아닌, 전체 아이템 풀에서 직접 추천을 생성하는 것으로 정의한다.
• 개체를 고유하게 식별하는 토큰 시퀀스로 사용자/아이템에 대한 일반화된 ID 정의를 제안한다.
• 세 가지 ID 생성 방법(SVD 기반 ID, PQ 기반 ID, 및 계층적 아이템 그래프를 이용한 협업 인덱싱)을 검토한다.
• 작업 프롬프트와 ID 표현을 통해 LLM을 일반 RS 작업에 적용하기 위한 일반적 형식을 제시한다.
• 다양한 생성 작업(평점, Top-N, 순차, 설명, 리뷰, 요약, 대화형 설정)에 대한 평가 프로토콜과 실용적 고려사항을 개요한다.

Figure 1: Pipeline comparison between traditional recommender systems and LLM-based generative recommendation.

실험 결과

연구 질문

• RQ1 무엇이 생성형 추천이며, 왜 RS가 기존의 판별적 파이프라인보다 이를 채택해야 하는가?
• RQ2 협업 정보를 보존하고 실제 아이템 풀 규모에 확장하기 위해 LLM 친화적인 방식으로 ID를 어떻게 생성할 수 있는가?
• RQ3 일반적인 RS 작업을 LLM 기반 생성형 프레임워크 내에서 어떻게 형식화하고 해결할 수 있는가?
• RQ4 LLM 기반 생성형 추천을 발전시키기 위한 주요 도전과 방향은 무엇인가?

주요 결과

• LLMs는 다단계 필터링을 단일 단계 생성 프로세스로 대체하여 직접 아이템 ID를 출력할 수 있다.
• 세 가지 ID 생성 전략은 LLM에 적합한 compact하고 고유한 아이템/사용자 표현을 가능하게 한다: SVD 기반 ID, PQ 기반 ID, 계층적 협업 인덱싱.
• 다양한 RS 작업(평점, Top-N, 순차, 설명가능, 리뷰 관련, 대화형)은 LLM이 ID나 콘텐츠를 생성하도록 안내하는 프롬프트로 형식화될 수 있다.
• 평가 접근 방식에는 순위에 대한 전통적인 지표와 자연어 출력에 대한 BLEU/ROUGE/BERTScore와 같은 생성 지표가 포함되며, 한계와 더 나은 표준의 필요성이 있는 것으로 인식된다.
• 논문은 현실 적용에서의 주요 도전 과제인 환각, 편향, 투명성, 제어성, 효율성 등을 중심 이슈로 논의한다.
• 다중 모달 확장은 비텍스트 데이터를 LLM 기반 추천에 통합하는 유망한 향후 연구 영역으로 확인된다.