[논문 리뷰] Evaluating ChatGPT as a Recommender System: A Rigorous Approach

Dario Di Palma, Giovanni Maria Biancofiore외 4명|arXiv (Cornell University)|2023. 09. 07.

Topic Modeling인용 수 7

한 줄 요약

이 연구는 피드백 없이 프롬프트 엔지니어링 없이도 ChatGPT를 제로샷 추천 시스템으로 평가하며, MovieLens Small, Last.FM, Facebook Book 세 가지 데이터셋에서 정확도와 콜드스타트 추천 성능이 뛰어나지만 커버리지 및 편향 문제로 인해 제한이 있음을 입증한다. ChatGPT는 미세조정 없이도 다른 대규모 언어 모델들보다 뛰어난 성능을 보이며 최신 추천 시스템과 유사한 성능을 내며, 협업 및 콘텐츠 기반 신호를 융합하는 하이브리드 추천 시스템으로 기능한다.

ABSTRACT

Large Language Models (LLMs) have recently shown impressive abilities in handling various natural language-related tasks. Among different LLMs, current studies have assessed ChatGPT's superior performance across manifold tasks, especially under the zero/few-shot prompting conditions. Given such successes, the Recommender Systems (RSs) research community have started investigating its potential applications within the recommendation scenario. However, although various methods have been proposed to integrate ChatGPT's capabilities into RSs, current research struggles to comprehensively evaluate such models while considering the peculiarities of generative models. Often, evaluations do not consider hallucinations, duplications, and out-of-the-closed domain recommendations and solely focus on accuracy metrics, neglecting the impact on beyond-accuracy facets. To bridge this gap, we propose a robust evaluation pipeline to assess ChatGPT's ability as an RS and post-process ChatGPT recommendations to account for these aspects. Through this pipeline, we investigate ChatGPT-3.5 and ChatGPT-4 performance in the recommendation task under the zero-shot condition employing the role-playing prompt. We analyze the model's functionality in three settings: the Top-N Recommendation, the cold-start recommendation, and the re-ranking of a list of recommendations, and in three domains: movies, music, and books. The experiments reveal that ChatGPT exhibits higher accuracy than the baselines on books domain. It also excels in re-ranking and cold-start scenarios while maintaining reasonable beyond-accuracy metrics. Furthermore, we measure the similarity between the ChatGPT recommendations and the other recommenders, providing insights about how ChatGPT could be categorized in the realm of recommender systems. The evaluation pipeline is publicly released for future research.

연구 동기 및 목표

• 피드백 없이 프롬프트 엔지니어링 없이 ChatGPT가 제로샷 추천 시스템으로서의 능력을 조사한다.
• 표준 평가 지표를 기반으로 ChatGPT의 성능을 최신 추천 알고리즘 및 다른 대규모 언어 모델들(GPT-3.5, PaLM-2)과 비교한다.
• 콜드스타트, 재정렬, 사용자 프로파일 활용과 같은 핵심 추천 시나리오에서 ChatGPT의 행동을 분석한다.
• 음악, 책, 영화 등 다양한 도메인에서 추천의 편향, 신선도, 커버리지 수준을 평가한다.
• ChatGPT의 추천 패턴이 협업 필터링 또는 콘텐츠 기반 필터링과 같은 기존 추천 철학과 얼마나 일치하는지 이해한다.

제안 방법

• MovieLens Small, Last.FM, Facebook Book 세 가지 실세계 데이터셋을 사용해 종합적인 실험 평가를 수행했다.
• MAP, Recall, Precision, F1, nDCG, Item Coverage, ACLT, ARP, EPC, PopREO 등의 표준 지표를 사용해 ChatGPT의 추천 성능을 평가했다.
• UserKNN, ItemKNN, EASE-R, VSM, RP³β, AttributeUserKNN, AttributeItemKNN, Random 등 8개의 기준 추천 시스템과 비교했다.
• 사용자 이력이 전혀 없는 사용자에게 추천하는 콜드스타트 시나리오에서 ChatGPT의 성능을 평가했다.
• 사용자 프로필을 활용해 기존 추천 목록을 재정렬할 수 있는 능력을 탐색했으며, 인기 항목 기반 및 이웃 기반 목록을 모두 테스트했다.
• 다양한 도메인에서의 모델 행동을 분석해 인기도 편향, 신선도, 하이브리드 추천 전략과의 일치 여부를 탐색했다.

실험 결과

연구 질문

• RQ1 ChatGPT는 피드백 없이 프롬프트 엔지니어링 없이도 효과적인 제로샷 추천 시스템으로 기능할 수 있는가?
• RQ2 다양한 평가 지표에서 ChatGPT의 성능은 최신 추천 알고리즘 및 GPT-3.5, PaLM-2와 같은 다른 대규모 언어 모델들과 비교해 어떻게 되는가?
• RQ3 ChatGPT는 어느 정도의 인기도 편향을 보이며, 이는 추천의 다양성과 커버리지에 어떤 영향을 미치는가?
• RQ4 ChatGPT는 사용자 프로필을 활용해 추천을 재정렬하는 데 효과적인가, 그리고 콜드스타트 시나리오에서 개인화된 추천을 어떻게 제공하는가?
• RQ5 ChatGPT의 추천 패턴은 협업 필터링 또는 콘텐츠 기반 필터링과 같은 기존 추천 철학과 얼마나 일치하는가?

주요 결과

• ChatGPT는 정확도 지표에서 경쟁적인 성능을 보였으며, Facebook Book에서 MAP 점수 0.47665, MovieLens Small에서 0.45979를 기록해 GPT-3.5와 PaLM-2를 모두 앞섰다.
• 콜드스타트 시나리오에서 ChatGPT는 관련성이 높은 추천을 생성했으며, 다른 최신 추천 시스템보다 뛰어난 일반화 능력을 보여, 사용자 이력이 없는 상황에서도 유의미한 성능을 발휘했다.
• ChatGPT는 특히 책 도메인에서 높은 신선도를 보였으며, Facebook Book에서 ACLT 0.26594를 기록해 장기 꼬리 항목 추천 능력이 뛰어났다.
• 모델는 뚜렷한 인기도 편향을 보였으며, Facebook Book에서 ARP 값 0.61272, MovieLens Small에서 0.47665를 기록해 인기 항목을 선호하는 경향이 있었다.
• ChatGPT의 추천 패턴은 순수 콘텐츠 기반 접근보다는 하이브리드 및 협업 필터링 시스템과 더 밀접하게 일치했으며, 다양한 신호 유형을 통합하는 것으로 나타났다.
• 정확도와 신선도에서 뛰어난 성능를 보였지만, 커버리지 및 다양성 지표에서는 성능이 열등했으며, Facebook Book에서 Item Coverage 1340, EPC 0.18142를 기록해 덜 인기 있는 항목에 대한 노출이 제한적임을 보여주었다.