[논문 리뷰] LLMRec: Benchmarking Large Language Models on Recommendation Task

Junling Liu, Chao Liu외 9명|arXiv (Cornell University)|2023. 08. 23.

Topic Modeling인용 수 6

한 줄 요약

LLMRec는 대규모 언어 모델(Large Language Models, LLMs)이 평점 예측, 순차적 추천, 직접 추천, 설명 생성, 리뷰 요약의 다섯 가지 추천 작업에서 어떻게 작동하는지 평가하기 위한 벤치마크 프레임워크를 소개한다. 이 프레임워크는 프롬프트와 지도 학습 미세조정을 사용한다. 결과적으로 LLMs는 설명 가능성 작업에서는 최신 기술 수준의 모델들과 유사한 성능을 보였지만, 순차적 추천 및 직접 추천과 같은 정확도 기반 작업에서는 어려움을 겪었으며, 이는 더 나은 미세조정과 더 다양한 데이터가 필요함을 시사한다.

ABSTRACT

Recently, the fast development of Large Language Models (LLMs) such as ChatGPT has significantly advanced NLP tasks by enhancing the capabilities of conversational models. However, the application of LLMs in the recommendation domain has not been thoroughly investigated. To bridge this gap, we propose LLMRec, a LLM-based recommender system designed for benchmarking LLMs on various recommendation tasks. Specifically, we benchmark several popular off-the-shelf LLMs, such as ChatGPT, LLaMA, ChatGLM, on five recommendation tasks, including rating prediction, sequential recommendation, direct recommendation, explanation generation, and review summarization. Furthermore, we investigate the effectiveness of supervised finetuning to improve LLMs' instruction compliance ability. The benchmark results indicate that LLMs displayed only moderate proficiency in accuracy-based tasks such as sequential and direct recommendation. However, they demonstrated comparable performance to state-of-the-art methods in explainability-based tasks. We also conduct qualitative evaluations to further evaluate the quality of contents generated by different models, and the results show that LLMs can truly understand the provided information and generate clearer and more reasonable results. We aspire that this benchmark will serve as an inspiration for researchers to delve deeper into the potential of LLMs in enhancing recommendation performance. Our codes, processed data and benchmark results are available at https://github.com/williamliujl/LLMRec.

연구 동기 및 목표

• 사전에 준비된 LLMs와 미세조정된 LLMs가 다양한 추천 작업을 수행할 잠재력을 탐구하기 위해.
• LLMs가 작업 전용 아키텍처 없이 사전 학습된 지식에서 추천 시나리오로 일반화할 수 있는 정도를 평가하기 위해.
• 프롬프트 엔지니어링과 지도 학습 미세조정이 LLM의 지시 준수 능력과 추천 성능 향상에 얼마나 효과적인지 평가하기 위해.
• 다양한 지표와 정성적 기준을 기반으로 LLMs를 기존 추천 모델들과 비교하기 위해.
• 향후 LLM 기반 추천 시스템 연구를 위한 표준화된 벤치마크를 제공하기 위해.

제안 방법

• 프레임워크는 다섯 가지 추천 작업—평점 예측, 순차적 추천, 직접 추천, 설명 생성, 리뷰 요약—에 대해 Zero-shot 프롬프팅을 사용하여 LLMs를 적응시키는 데 사용된다.
• 고품질의 작업 전용 프롬프트를 설계하여 LLM의 세계 지식과 언어 지식을 활용하면서도 지시 준수를 보장한다.
• 제한된 데이터와 계산 자원으로 추천 작업에 LLMs를 적응시키기 위해 P-tuning V2를 사용한 지도 학습 미세조정을 적용한다.
• 평가를 위해 자동 지표와 정성적 분석을 모두 사용하여 Amazon Beauty 데이터셋에서 실험을 수행한다.
• 비교 분석에는 P5와 같은 최신 기술 수준의 모델이 포함되며, 미세조정 파라미터, 학습 데이터 크기, 데이터 다양성에 대한 분석도 수행된다.
• 정성적 평가는 요약 품질과 설명의 일관성에 초점을 맞춰 의미 이해력과 추론 능력을 평가한다.

실험 결과

연구 질문

• RQ1 사전에 준비된 LLMs는 작업 전용 미세조정 없이도 추천 작업을 효과적으로 수행할 수 있는가?
• RQ2 지도 학습 미세조정은 추천 작업에서 LLM의 성능 향상과 지시 준수 능력 향상에 어떻게 기여하는가?
• RQ3 정확도 기반 및 설명 가능성 기반 추천 작업에서 LLMs는 기존 최신 기술 수준의 모델들과 어떻게 비교되는가?
• RQ4 프롬프트 설계, 학습 데이터 다양성, 모델 파라미터는 LLM의 추천 작업 성능에 어떤 역할을 하는가?
• RQ5 LLMs는 추천 맥락에서 의미 있고 일관되며 사실적으로 정확한 설명과 요약을 얼마나 잘 생성할 수 있는가?

주요 결과

• ChatGPT와 ChatGLM-6B와 같은 LLMs는 순차적 추천 및 직접 추천와 같은 정확도 기반 작업에서 중간 정도의 성능을 보이며, 추가 적응 없이선 기술적 숙련도가 제한되어 있음을 시사한다.
• ChatGPT는 설명 생성 및 리뷰 요약에서 최신 기술 수준의 방법보다 뛰어난 성능을 보이며, 기준 모델들보다 더 명확하고 합리적인 결과를 생성한다.
• ChatGLM-6B는 모든 작업에서 ChatGPT보다 더 높은 자동 지표 점수를 기록하여, 프롬프트 지시에 더 잘 부합하고 개인화 능력이 향상되었음을 시사한다.
• LLMs와 최신 기술 수준의 모델들 사이의 정확도 기반 작업에서의 성능 격차는 P5와 같은 모델들에 비해 더 적은 미세조정 파라미터 수와 더 작은 학습 데이터 크기 때문임이 밝혀졌다.
• 데이터 다양성과 다중 작업 학습은 모델의 일반화 능력을 크게 향상시키며, P5의 뛰어난 성능은 50배 더 많은 학습 데이터와 다중 프롬프트 샘플링 덕분임을 실험적으로 입증했다.
• 정성적 분석 결과, ChatGPT와 ChatGLM은 핵심 리뷰 내용을 잘 반영하는 의미 있는 요약을 생성하는 반면, LLaMA는 요약을 하지 못하고 입력을 그대로 반복하는 것으로 나타났다.