[论文解读] How opinions are received by online communities: A case study on Amazon.com helpfulness votes

Cristian Danescu-Niculescu-Mizil, Gueorgi Kossinets+2 more|ArXiv.org|Jun 21, 2009

Opinion Dynamics and Social Influence参考文献 23被引用 56

一句话总结

本文研究了在线社区成员如何评估亚马逊评论的有用性，发现感知有用性不仅取决于评论内容，还取决于该评论的评分与同一产品其他评论评分的相对关系。通过一种基于评论‘抄袭’的新方法隔离内容影响，作者发现社会动态——尤其是相对评分偏差——显著影响有用性投票，且在美、英、德、日四国呈现一致模式，但日本表现出反直觉的对负面评论的偏好。

ABSTRACT

There are many on-line settings in which users publicly express opinions. A number of these offer mechanisms for other users to evaluate these opinions; a canonical example is Amazon.com, where reviews come with annotations like "26 of 32 people found the following review helpful." Opinion evaluation appears in many off-line settings as well, including market research and political campaigns. Reasoning about the evaluation of an opinion is fundamentally different from reasoning about the opinion itself: rather than asking, "What did Y think of X?", we are asking, "What did Z think of Y's opinion of X?" Here we develop a framework for analyzing and modeling opinion evaluation, using a large-scale collection of Amazon book reviews as a dataset. We find that the perceived helpfulness of a review depends not just on its content but also but also in subtle ways on how the expressed evaluation relates to other evaluations of the same product. As part of our approach, we develop novel methods that take advantage of the phenomenon of review "plagiarism" to control for the effects of text in opinion evaluation, and we provide a simple and natural mathematical model consistent with our findings. Our analysis also allows us to distinguish among the predictions of competing theories from sociology and social psychology, and to discover unexpected differences in the collective opinion-evaluation behavior of user populations from different countries.

研究动机与目标

• 理解在线社区评估用户评论有用性的社会机制。
• 区分影响有用性投票的内容因素与社会语境因素。
• 建立个体偏见与评分分布相互作用以塑造集体评估行为的模型。
• 比较美国、英国、德国和日本等不同文化社区的意见评估动态。
• 利用真实世界数据检验关于意见评估的相互竞争的社会学与心理学理论。

提出的方法

• 从美国、英国、德国和日本的亚马逊网站收集超过400万条图书评论，重点关注获得10次及以上有用票的评论。
• 使用‘抄袭’检测方法识别跨产品中完全相同或近乎相同的评论，从而通过比较同一评论在不同评分语境下的评价结果，控制内容影响。
• 定义了一个‘有符号偏差’指标：即评论的星级评分与同一产品平均评分之间的差异。
• 提出一个基于个体评估者偏见的简单数学模型，其中评估者更可能认为与自身偏见方向一致、且偏离平均评分的评论更有用。
• 应用统计分析测量在不同评分方差下，有符号偏差与有用性比率（有用票数占比）之间的关系。
• 比较不同国家社区的评估模式，以评估文化差异对意见评估行为的影响。

实验结果

研究问题

• RQ1 评论相对于产品平均评分的评分（即相对评分）在多大程度上影响其感知有用性？
• RQ2 社会语境与评分分布在多大程度上影响有用性投票，而这种影响又超越了评论内容本身？
• RQ3 个体评估者的偏见如何与评分分布相互作用，以塑造集体的有用性判断？
• RQ4 在不同国家的亚马逊社区中，用户评估评论有用性的行为是否存在系统性的文化差异？
• RQ5 一个简单的个体偏见模型能否解释观察到的有用性投票行为模式？

主要发现

• 评论的有用性强烈受其与产品平均评分偏差的影响：评分越极端（极高或极低），其有用性比率越高，而接近平均值的评论则较低。
• 在平均评分以下的评论比高于平均评分的评论更可能被视为有用，这一模式在美国、英国、德国和日本均一致成立。
• 在日本，该效应方向相反：低于平均分的评论被认为比高于平均分的更有用，表明该社区中具有负向偏见（p < 0.5）的评估者比例更大。
• 有用性比率的平均值在英国最高（0.80），美国最低（0.72），德国和日本居中，表明社区规范存在差异。
• 观察到的模式与假设评价行为均匀或对称的理论不一致，但与存在混合意见分布时个体评估者偏见的简单模型一致。
• 利用‘抄袭’检测控制内容影响，提供了有力证据，表明社会语境——特别是评分偏差——独立于评论质量或内容，驱动了有用性评估。