[論文レビュー] The warm-start bias of Yelp ratings

Michalis Potamias|arXiv (Cornell University)|Feb 26, 2012

Innovation Diffusion and Forecasting参考文献 5被引用数 11

ひとこと要約

本論文は、Yelpの評価において『ウォームスターター・バイアス』を特定し、初期のレビュー（平均4.1スターレート）が長期的な評判を著しく過大評価していることを示している。20件目のレビューまでに平均スコアは3.69スターレートに低下する。著者たちは、時系列順のレビュー分析を用いてこのバイアスを是正し、Grouponのネガティブな評判的影響が240%過大評価されていることを示した。これは、レビュー数と平均スコアの間に逆相関が存在することを示している。

ABSTRACT

Yelp ratings are often viewed as a reputation metric for local businesses. In this paper we study how Yelp ratings evolve over time. Our main finding is that on average the first ratings that businesses receive overestimate their eventual reputation. In particular, the first review that a business receives in our dataset averages 4.1 stars, while the 20th review averages just 3.69 stars. This significant warm-start bias which may be attributed to the limited exposure of a business in its first steps may mask analysis performed on ratings and reputational ramifications. Therefore, we study techniques to identify and correct for this bias. Further, we perform a case study to explore the effect of a Groupon deal on the merchant's subsequent ratings and show both that previous research has overestimated Groupon's effect to merchants' reputation and that average ratings anticorrelate with the number of reviews received. Our analysis points to the importance of identifying and removing biases from Yelp reviews.

研究の動機と目的

• Yelpの評価に存在する体系的なバイアスを特定・定量化し、評判分析に影響を与えること。
• 初期レビューにおけるウォームスターター・バイアスを是正し、長期的な企業評判を過大評価するのを防ぐこと。
• バイアス是正済みのYelpデータを用いて、Grouponのデールが与える評判的影響を再評価すること。
• オンライン評判システムにおけるレビュー数と平均スコアの関係を調査すること。
• オンラインレビュー・プラットフォームにおけるバイアスの検出と是正の重要性を強調し、正確な評判分析に寄与すること。

提案手法

• 著者たちは、レビューが到着した順序に従ってYelpの評価を分析し、レビューの順序（例：1番目、2番目、20番目など）ごとにグループ化することで、時間的バイアスを特定した。
• 初期レビューの影響を排除することで、真の評判トレンドを特定するため、『YelpUnbiased』データセットを構築した。
• 事例研究として、YelpデータとGrouponのデールデータを組み合わせ、Grouponの影響前後における評判の変化を比較した。
• 統計的分析により、95%信頼区間を用いて、時間ごとの平均スコアとレビュー数を比較した。
• 平均スコアとレビュー数の間の相関係数を計算し、逆相関トレンドを評価した。
• バイアスのあるYelpデータセットと是正済みのYelpUnbiasedデータセットの結果を比較し、評判的影響の過大評価を定量化した。

実験結果

リサーチクエスチョン

• RQ1 初期のYelpレビューが、企業の長期的評判を体系的に過大評価するか？
• RQ2 Grouponのデールのような外部要因の影響を受ける際、初期レビューにおけるウォームスターター・バイアスが評判変化の分析をどの程度歪めるか？
• RQ3 月間レビュー数と平均スコアの間に相関があるか？また、これはレビューの真正性にどのような含みを持つのか？
• RQ4 ウォームスターター・バイアスを是正した後、Grouponのデールが与える真の評判的影響は何か？
• RQ5 Grouponのデール後にYelpの存在を開始する企業では、なぜウォームスターター・バイアスが見られないのか？

主な発見

• 企業の最初のレビューの平均は4.1スターレートであるが、20件目のレビューでは平均スコアが3.69スターレートに低下しており、顕著なウォームスターター・バイアスが確認された。
• ウォームスターター・バイアスにより、Grouponの評判的影響が240%過大評価されており、バイアスのあるデータセットでは0.12スターレートの低下が報告されたが、是正済みデータではわずか0.05スターレートの低下にとどまった。
• バイアスを除去した後、Grouponのデール後、20～40番目のレビューインデックスでは平均スコアが0.04スターレート低下し、全体でも0.05スターレート低下した。これは、わずかだが測定可能な評判の低下を示している。
• 全データセットでは平均スコアとレビュー数の相関係数が-0.36、Groupon以降の期間では-0.41であり、顕著な逆相関が確認された。
• Grouponのデール後にYelpの存在を開始する企業ではウォームスターター・バイアスが見られず、これは広範な顧客の露出により、初期レビューがより真正なものになっている可能性を示唆している。
• 特に0か月目の集計（3,994店舗）とその後の月（例：5か月目は135店舗）との間に店舗数の不均衡があるため、初期の月の信頼区間が広がっている。