[논문 리뷰] How opinions are received by online communities: A case study on Amazon.com helpfulness votes

Cristian Danescu-Niculescu-Mizil, Gueorgi Kossinets외 2명|ArXiv.org|2009. 06. 21.

Opinion Dynamics and Social Influence참고 문헌 23인용 수 56

한 줄 요약

이 논문은 온라인 커뮤니티 구성원들이 아마존의 리뷰의 유용성을 어떻게 평가하는지 조사하며, 유용성 인식이 리뷰 내용 뿐 아니라 동일한 제품에 대한 다른 리뷰와의 평점 비교 방식에도 의존한다는 점을 드러낸다. 리뷰의 '도용'을 기반으로 한 새로운 방법을 사용해 내용 효과를 분리함으로써, 저자들은 사회적 동력—특히 상대적 평점 편차—가 도움이 되는 투표에 상당한 영향을 미친다는 것을 보여주며, 이는 미국, 영국, 독일, 일본 전역에서 일관된 패턴을 보이며, 다만 일본은 부정적 리뷰를 선호하는 데서 기대와는 다른 경향을 보인다.

ABSTRACT

There are many on-line settings in which users publicly express opinions. A number of these offer mechanisms for other users to evaluate these opinions; a canonical example is Amazon.com, where reviews come with annotations like "26 of 32 people found the following review helpful." Opinion evaluation appears in many off-line settings as well, including market research and political campaigns. Reasoning about the evaluation of an opinion is fundamentally different from reasoning about the opinion itself: rather than asking, "What did Y think of X?", we are asking, "What did Z think of Y's opinion of X?" Here we develop a framework for analyzing and modeling opinion evaluation, using a large-scale collection of Amazon book reviews as a dataset. We find that the perceived helpfulness of a review depends not just on its content but also but also in subtle ways on how the expressed evaluation relates to other evaluations of the same product. As part of our approach, we develop novel methods that take advantage of the phenomenon of review "plagiarism" to control for the effects of text in opinion evaluation, and we provide a simple and natural mathematical model consistent with our findings. Our analysis also allows us to distinguish among the predictions of competing theories from sociology and social psychology, and to discover unexpected differences in the collective opinion-evaluation behavior of user populations from different countries.

연구 동기 및 목표

• 온라인 커뮤니티가 사용자 리뷰의 유용성을 평가하는 데 배경이 되는 사회적 메커니즘을 이해하기 위해.
• 유용성 투표에 영향을 주는 내용 기반 요인과 사회적 맥락적 요인을 구분하기 위해.
• 개인의 편향이 평점 분포와 어떻게 상호작용하여 집단적 평가 행동을 형성하는지 모델링하기 위해.
• 미국, 영국, 독일, 일본 등 다양한 문화권 커뮤니티 간의 의견 평가 동역학을 비교하기 위해.
• 실제 세계 데이터를 활용해 서로 경쟁하는 사회학적 및 심리학적 이론을 테스트하기 위해.

제안 방법

• 미국, 영국, 독일, 일본 사이트에서 400만 건 이상의 아마존 도서 리뷰를 수집하였으며, 10개 이상의 유용성 투표를 받은 리뷰에 집중함.
• 유사하거나 동일한 리뷰가 여러 제품 간에 존재하는지 확인하기 위해 '도용' 탐지 기법을 사용함으로써, 동일한 리뷰가 다른 평점 맥락에서 어떻게 평가되는지 비교함으로써 내용 효과를 통제함.
• ‘부호가 붙은 편차’ 지표를 정의함: 동일 제품의 평균 평점과의 차이. 즉, 리뷰의 별점과 해당 제품의 평균 별점 간의 차이.
• 개인 평가자 편향을 기반으로 한 단순 수학 모델을 제안함. 평가자는 자신의 편향 방향과 일치하는 방향으로 평균 별점에서 벗어난 리뷰일수록 더 유용하다고 보다 가능성이 높음.
• 서로 다른 평점 분산에서 부호가 붙은 편차와 유용성 비율(유용성 투표 비율) 간의 관계를 측정하기 위해 통계 분석을 적용함.
• 국가별 커뮤니티 간 평가 패턴을 비교하여 의견 평가 행동의 문화적 차이를 평가함.

실험 결과

연구 질문

• RQ1 리뷰의 상대적 평점(제품의 평균 평점 대비)이 그 리뷰의 유용성 인식에 어떤 영향을 미치는가?
• RQ2 리뷰의 내용 외에 사회적 맥락과 평점 분포가 얼마나 리뷰의 유용성 투표에 영향을 미치는가?
• RQ3 개인 평가자 편향이 평점 분포와 어떻게 상호작용하여 집단적 유용성 평가를 형성하는가?
• RQ4 미국, 영국, 독일, 일본의 아마존 커뮤니티 간에 리뷰의 유용성 평가 방식에 체계적인 문화적 차이가 존재하는가?
• RQ5 단순한 개인 편향 모델이 관찰된 유용성 투표 행동 패턴을 설명할 수 있는가?

주요 결과

• 리뷰의 유용성은 제품 평균 평점에서의 편차에 의해 강하게 영향을 받는다: 평균에 가까운 리뷰보다 극단적인(매우 높거나 매우 낮은) 리뷰일수록 더 높은 유용성 비율을 얻는다.
• 제품 평균보다 낮은 평점을 받은 리뷰는 평균보다 높은 평점을 받은 리뷰보다 더 유용하다고 평가될 가능성이 높으며, 이 패턴은 미국, 영국, 독일, 일본 전역에서 일관되게 나타난다.
• 일본에서는 이 효과의 방향이 뒤바뀌어, 평균보다 낮은 평점을 받은 리뷰가 평균보다 높은 리뷰보다 더 유용하다고 평가되며, 이는 그 커뮤니티에서 부정적 편향(p < 0.5)을 가진 평가자가 더 많다는 것을 시사한다.
• 평균 유용성 비율은 영국에서 가장 높았고(0.80), 미국에서 가장 낮았으며(0.72), 독일과 일본은 그 사이에 위치하여 커뮤니티 규범의 차이를 보인다.
• 관찰된 패턴은 평균적이거나 대칭적인 평가 행동을 가정하는 이론과 일치하지 않지만, 혼합된 의견 분포가 존재하는 상황에서 개인 평가자 편향의 단순 모델과 일치한다.
• 내용 효과를 통제하기 위해 '도용'을 활용한 것은 사회적 맥락—특히 평점 편차—가 리뷰의 유용성 평가에 내용의 품질이나 내용과 무관하게 영향을 미친다는 강력한 증거를 제공한다.