[논문 리뷰] The warm-start bias of Yelp ratings

Michalis Potamias|arXiv (Cornell University)|2012. 02. 26.

Innovation Diffusion and Forecasting참고 문헌 5인용 수 11

한 줄 요약

이 논문은 야놀즈 평점에서 '온기 시작 편향(warm-start bias)'을 규명한다. 초기 리뷰(평균 4.1점)는 기업의 장기적 평판을 크게 과대평가하며, 20번째 리뷰가 되면 평점이 3.69점으로 떨어진다. 저자들은 시간 순서로 정렬된 리뷰 분석을 통해 이 편향을 보정하고, 이로 인해 과도하게 240% 과대평가된 것으로 밝혀진 과도한 Groupon의 부정적 평판 영향을 규명한다. 이는 리뷰 수와 평균 평점 간의 반상관관계를 드러낸다.

ABSTRACT

Yelp ratings are often viewed as a reputation metric for local businesses. In this paper we study how Yelp ratings evolve over time. Our main finding is that on average the first ratings that businesses receive overestimate their eventual reputation. In particular, the first review that a business receives in our dataset averages 4.1 stars, while the 20th review averages just 3.69 stars. This significant warm-start bias which may be attributed to the limited exposure of a business in its first steps may mask analysis performed on ratings and reputational ramifications. Therefore, we study techniques to identify and correct for this bias. Further, we perform a case study to explore the effect of a Groupon deal on the merchant's subsequent ratings and show both that previous research has overestimated Groupon's effect to merchants' reputation and that average ratings anticorrelate with the number of reviews received. Our analysis points to the importance of identifying and removing biases from Yelp reviews.

연구 동기 및 목표

• 야놀즈 평점에 존재하는 체계적 편향을 규명하고 정량화하여 평판 분석에 영향을 미치는지를 확인하는 것.
• 초기 리뷰에서 발생하는 온기 시작 편향이 장기적 기업 평판을 과대평가하는 방식을 보정하는 것.
• 편향 보정된 야놀즈 데이터를 활용해 Groupon 쿠폰의 평판 영향을 재평가하는 것.
• 온라인 평판 시스템에서 리뷰 수와 평균 평점 간의 관계를 조사하는 것.
• 온라인 리뷰 플랫폼에서 편향 탐지 및 보정의 중요성을 강조하여 정확한 평판 분석을 가능하게 하는 것.

제안 방법

• 저자들은 리뷰가 도착한 순서에 따라 야놀즈 평점을 분석하고, 리뷰의 순서(예: 1번째, 2번째, 20번째)를 기준으로 그룹화하여 시간적 편향을 탐지한다.
• 초기 리뷰의 영향을 제거하여 진정된 평판 추세를 분리하는 데 목적이 있는 'YelpUnbiased' 데이터셋을 구축한다.
• 야놀즈 데이터와 Groupon 쿠폰 데이터를 조합한 사례 연구를 통해 Groupon 노출 전후의 평판 변화를 비교한다.
• 통계적 분석을 통해 시간대별 평균 평점과 리뷰 수를 비교하고, 신뢰도를 확보하기 위해 95% 신뢰구간을 사용한다.
• 평균 평점과 리뷰 수 간의 상관계수를 계산하여 반상관관계 경향을 평가한다.
• 편향된 야놀즈 데이터셋과 보정된 YelpUnbiased 데이터셋의 결과를 비교하여 평판 영향의 과대평가 정도를 정량화한다.

실험 결과

연구 질문

• RQ1 초기 리뷰 순서가 기업의 장기적 평판을 체계적으로 과대평가하는가?
• RQ2 Groupon 쿠폰과 같은 외부 사건 이후 평판 변화 분석에서 초기 리뷰의 온기 시작 편향이 얼마나 심각하게 왜곡되는가?
• RQ3 월간 리뷰 수와 평균 평점 간의 상관관계는 어떻게 되며, 이는 리뷰의 진정성에 대해 어떤 시사점을 갖는가?
• RQ4 온기 시작 편향을 보정한 후 Groupon 쿠폰의 진정한 평판 영향은 무엇인가?
• RQ5 왜 Groupon 쿠폰 이후에 야놀즈 활동을 시작한 기업들은 온기 시작 편향을 보이지 않는가?

주요 결과

• 기본적으로 첫 번째 리뷰는 평균 4.1점이지만, 20번째 리뷰가 되면 평균 평점이 3.69점으로 떨어지며, 이는 심각한 온기 시작 편향을 시사한다.
• 온기 시작 편향으로 인해 Groupon의 평판 영향력이 240% 과대평가되었으며, 편향된 데이터셋은 0.12점의 하락을 보고한 반면, 보정된 데이터는 단지 0.05점의 하락을 보였다.
• 편향을 제거한 후, Groupon 쿠폰 이후 20~40번째 리뷰 지점에서 평균 평점은 0.04점 감소했고, 전반적으로는 0.05점 감소하여 약간의 그러나 측정 가능한 평판 하락이 있음을 나타낸다.
• 전체 데이터셋에서 평균 평점과 리뷰 수 간의 상관계수는 -0.36이며, Groupon 이후 기간에는 -0.41로 나타나 유의미한 반상관관계가 있음을 보여준다.
• Groupon 쿠폰 이후에 야놀즈 활동을 시작한 기업들은 온기 시작 편향을 보이지 않아, 더 넓은 대상의 노출이 더 진정성 있는 초기 리뷰를 이끌 수 있음을 시사한다.
• 초기 월의 신뢰구간은 상업자 수의 불균형으로 넓은 편이며, 특히 0개월 집계(3,994개 상업자)와 후속 월(예: 5개월에 135개 상업자) 간의 차이로 인해 발생한다.