[논문 리뷰] GPT as a Baseline for Recommendation Explanation Texts

Joyce Zhou, Thorsten Joachims|arXiv (Cornell University)|2023. 09. 16.

Explainable Artificial Intelligence (XAI)Computer Science인용 수 3

한 줄 요약

이 연구는 시뮬레이션된 추천 시스템 환경에서 GPT가 생성한 영화 추천 설명을 인간이 작성한 리뷰와 비교하여 평가한다. 이미 본 영화에 대해 참가자들은 모델이 생성한 리뷰를 인간이 작성한 리뷰보다 유의미하게 더 낫다고 평가했으며, 이는 LLM이 개인화되고 정보적이며 설득력 있는 추천 설명의 강력한 기준이 될 수 있음을 시사한다.

ABSTRACT

In this work, we establish a baseline potential for how modern model-generated text explanations of movie recommendations may help users, and explore what different components of these text explanations that users like or dislike, especially in contrast to existing human movie reviews. We found that participants gave no significantly different rankings between movies, nor did they give significantly different individual quality scores to reviews of movies that they had never seen before. However, participants did mark reviews as significantly better when they were movies they had seen before. We also explore specific aspects of movie review texts that participants marked as important for each quality. Overall, we establish that modern LLMs are a promising source of recommendation explanations, and we intend on further exploring personalizable text explanations in the future.

연구 동기 및 목표

• 현대 LLM이 생성한 텍스트 설명이 추천 시스템에서 사용자 경험을 향상시키는 데 기여할 수 있는 기준을 설정하기 위해.
• GPT가 생성한 리뷰가 인간이 작성한 리뷰와 동일하거나 더 효과적으로 사용자 선호도에 영향을 주는지 조사하기 위해.
• 사용자가 정확성, 정보성, 설득력, 흥미로움 등에 대해 가장 가치 있다고 느끼는 리뷰 텍스트의 구성 요소—예를 들어 구조, 내용, 어조, 개인화 정도—를 파악하기 위해.
• LLM이 사용자 중심의 개인화된 추천 설명을 생성함으로써 만족도와 투명도를 향상시킬 잠재력을 탐색하기 위해.

제안 방법

• 모의 추천 환경에서 120명의 참가자를 대상으로 설문 조사를 실시하였다.
• 참가자들에게 쌍으로 구성된 영화 추천을 제시하였으며, 각각 GPT가 생성한 설명과 인간이 작성한 리뷰가 동반되었다.
• 정확성, 정보성, 설득력, 흥미로움의 네 가지 차원에서 순위 매기기 및 개별 품질 평가를 통해 사용자 선호도를 측정하였다.
• 자유형 피드백 분석을 통해 사용자가 가장 가치 있다고 느끼거나 비판한 주요 텍스트 구성 요소를 파악하였으며, 이는 줄거리, 장르, 배우, 문화적 배경, 글쓰기 스타일 등을 포함한다.
• 사전 노출 여부를 고려하여 본 영화와 미리 본 영화에 대해 모델이 생성한 리뷰와 인간이 작성한 리뷰를 비교하는 제어된 설계를 사용하였다.
• 리커트 척도 평가와 정성적 분석을 활용하여 사용자가 리뷰 품질과 선호도에 대해 어떻게 인식하는지 평가하였다.

실험 결과

연구 질문

• RQ1 사용자가 처음 본 영화에 대해 모델이 생성한 텍스트 설명을 제시할 경우, 인간이 작성한 텍스트 설명과 비교했을 때 사용자의 시청 선호도 순위에 어떤 영향을 미치는가—특히 처음 본 영화에 대해선 어떻게 되는가?
• RQ2 모델이 생성한 텍스트 설명이 인간이 작성한 리뷰와 비교해 정확성, 정보성, 설득력, 흥미로움의 개별 품질 척도에서 유의미하게 다른가?
• RQ3 사용자가 리뷰 품질에 대해 가장 중요하거나 해로운 것으로 느끼는 특정 텍스트 구성 요소(예: 줄거리, 장르, 개인적 에피소드, 어조)는 무엇인가?
• RQ4 사용자가 영화를 사전에 본 경험이 있을 경우, 추천 설명의 품질과 설득력에 대한 사용자 인식에 어떤 영향을 미치는가?

주요 결과

• 참가자들이 처음 본 영화에 대해선 GPT가 생성한 리뷰와 인간이 작성한 리뷰를 제시받았을 때 순위에 유의미한 차이를 보이지 않았다.
• 이미 본 영화에 대해선 GPT가 생성한 리뷰가 정확성, 정보성, 설득력, 흥미로움의 모든 품질 차원에서 인간이 작성한 리뷰보다 유의미하게 더 높게 평가되었다.
• 참가자들은 특히 정확성과 정보성 측면에서 장르, 배우, 비평적 평가와 같은 구조화된 항목을 더 높게 평가했다.
• 글쓰기 스타일과 어조는 설득력과 흥미로움 측면에서 자주 중요한 것으로 언급되었으며, 너무 개인적이거나 모호하거나 지나치게 어색한 리뷰는 비판받았다.
• 참가자들은 줄거리나 객관적 정보 없이 오직 개인적 에피소드에만 초점을 맞춘 인간 리뷰를 자주 비판했고, GPT가 생성한 텍스트는 더 균형 잡히고 정보적인 것으로 평가되었다.
• 미리 본 영화에 대해선 성능 차이가 유의미하지 않았지만, 본 영화에 대해 리커트 척도에서 더 강한 효과를 보인 점은 GPT가 생성한 리뷰가 사용자가 사전 경험을 가진 맥락에서 더 효과적이라는 것을 시사한다.