[論文レビュー] How opinions are received by online communities: A case study on Amazon.com helpfulness votes

Cristian Danescu-Niculescu-Mizil, Gueorgi Kossinets+2 more|ArXiv.org|Jun 21, 2009

Opinion Dynamics and Social Influence参考文献 23被引用数 56

ひとこと要約

本稿は、オンラインコミュニティのメンバーがAmazonのレビューの有用性をどのように評価するかを調査し、有用性の認識がレビューの内容だけでなく、同じ製品に対する他のレビューの評価と比較した際の相対的評価にも依存することを明らかにした。レビューの内容に影響を与える要因を分離するための新規手法（レビューの類似性を用いた「模造」検出）を用い、著者らは社会的要因、特に相対的評価のずれが、有用性投票に顕著な影響を与えることを示した。これは、米国、英国、ドイツ、日本で一貫したパターンを示しており、日本では逆説的な傾向として、否定的レビューが好まれる傾向があることが判明した。

ABSTRACT

There are many on-line settings in which users publicly express opinions. A number of these offer mechanisms for other users to evaluate these opinions; a canonical example is Amazon.com, where reviews come with annotations like "26 of 32 people found the following review helpful." Opinion evaluation appears in many off-line settings as well, including market research and political campaigns. Reasoning about the evaluation of an opinion is fundamentally different from reasoning about the opinion itself: rather than asking, "What did Y think of X?", we are asking, "What did Z think of Y's opinion of X?" Here we develop a framework for analyzing and modeling opinion evaluation, using a large-scale collection of Amazon book reviews as a dataset. We find that the perceived helpfulness of a review depends not just on its content but also but also in subtle ways on how the expressed evaluation relates to other evaluations of the same product. As part of our approach, we develop novel methods that take advantage of the phenomenon of review "plagiarism" to control for the effects of text in opinion evaluation, and we provide a simple and natural mathematical model consistent with our findings. Our analysis also allows us to distinguish among the predictions of competing theories from sociology and social psychology, and to discover unexpected differences in the collective opinion-evaluation behavior of user populations from different countries.

研究の動機と目的

• オンラインコミュニティがユーザーのレビューの有用性をどのように評価するかという社会的メカニズムを理解すること。
• 有用性投票に影響する要因としての内容的要因と社会的文脈的要因を区別すること。
• 個人のバイアスが評価の分布とどのように相互作用し、集団的な評価行動を形作るかをモデル化すること。
• 米国、英国、ドイツ、日本といった多様な文化的コミュニティにおける意見評価のダイナミクスを比較すること。
• 実世界のデータを用いて、意見評価に関する対立する社会学的・心理学的理論を検証すること。

提案手法

• 米国、英国、ドイツ、日本におけるAmazonの書籍レビューから400万件を超えるレビューを収集し、有用性投票が10件以上あるレビューに焦点を当てた。
• 同一または類似したレビューが複数の製品にわたって存在するかを特定する「模造」検出手法を用い、同じレビューが異なる評価の文脈でどのように評価されるかを比較することで、内容要因の影響を制御した。
• 「符号付き偏差」という指標を定義した。これは、レビューの星評価と、その製品の平均評価との差を表す。
• 個人の評価者バイアスに基づく単純な数学的モデルを提案した。評価者が自分のバイアスと一致する方向に平均評価からずれたレビュー（高いか低いか）をより有用と判断する傾向があるという仮定である。
• 統計的分析を用いて、符号付き偏差と有用性比（有用性投票の割合）との関係を、異なる評価分散の条件下で測定した。
• 国ごとのコミュニティ間で評価パターンを比較し、意見評価行動における文化的差を評価した。

実験結果

リサーチクエスチョン

• RQ1 レビューの相対的評価（製品の平均評価と比較した際の評価）が、そのレビューの有用性に与える影響は何か？
• RQ2 レビューの内容を超えて、社会的文脈や評価の分布が、有用性投票にどの程度影響を及えるか？
• RQ3 個人の評価者バイアスが評価の分布とどのように相互作用し、集団的な有用性判断を形作るか？
• RQ4 米国、英国、ドイツ、日本における国ごとのAmazonコミュニティ間で、レビューの有用性評価に体系的な文化的差があるか？
• RQ5 単純な個人バイアスモデルが、観察された有用性投票行動のパターンを説明できるか？

主な発見

• レビューの有用性は、製品の平均評価からのずれに強く影響を受ける。極端な評価（非常に高いか非常に低い）を示すレビューは、平均に近いレビューに比べ、より高い有用性比を示す。
• 製品の平均より低い評価を持つレビューは、平均より高い評価を持つレビューよりも、より有用と見なされる傾向がある。この傾向は、米国、英国、ドイツ、日本で一貫している。
• 日本ではこの傾向が逆転している。平均より低い評価を持つレビューが、平均より高い評価を持つレビューよりも有用性が高く評価されており、このコミュニティに否定的バイアス（p < 0.5）を有する評価者がより多い可能性を示唆している。
• 平均有用性比は、英国で最高（0.80）であり、米国で最低（0.72）で、ドイツと日本はその中間にある。これは、コミュニティの規範に差があることを示している。
• 観察されたパターンは、評価行動が一様または対称的であると仮定する理論とは整合しないが、混合された意見分布の下で単純な個人評価者バイアスモデルと整合的である。
• 内容要因を制御するための「模造」手法の使用により、社会的文脈、特に評価のずれが、レビューの質や内容とは独立して有用性評価を決定づけている強力な証拠が得られた。