[논문 리뷰] Ideology-driven polarisation in online ratings: the review bombing of The Last of Us Part II

Giulio Giacomo Cantone, Venera Tomaselli외 1명|arXiv (Cornell University)|2021. 04. 02.

Misinformation and Its Impacts인용 수 7

한 줄 요약

이 연구는 메타크리틱에서의 *The Last of Us Part II*에 대한 이데올로기 기반 리뷰 폭탄 투척을 분석하여, 정치적으로 동기를 가진 사용자들이 조율된 부정적 평가를 유도함으로써 민주적 대응 폭탄 투척이 발생했음을 밝혀냈다. 텍스트 마이닝과 정서 분석을 통해 메타의견과 이데올로기적 극단화를 규명함으로써, 리뷰 폭탄 투척이 오직 오해의 소산이 아니라는 개념을 도전하고, 플랫폼의 객관성과 사용자 기반 가치 판단 간의 근본적 불일치를 드러냈다.

ABSTRACT

A review bomb is a large and quick surge in online reviews about a product, service, or business, coordinated by a group of people willing to manipulate public opinion about that entity. This study challenges the assumption that review bombing is solely a phenomenon of misinformation and connects motivations and substantial content of online reviews with the broader theory of judgement of facts and of value. These theories are verified in a quantitative analysis of the most prominent case of review bombing, which involves the video game The Last of Us Part II. It is discovered that ideology-driven ratings are followed by a grassroots counter-bombing, aimed at mitigating the effects of the negative ratings. The two factions of bombers, despite being politically polar opposites, are very similar in terms of other metrics. Evidence suggests the theoretical framework of political disinformation is insufficient to explain this case of review bombing. In light of the need to re-frame review bombing, recommendations are proposed for the preventive management of future cases.

연구 동기 및 목표

• 리뷰 폭탄 투척의 동기를 조사하여, 이러한 사건들이 오직 오해의 소산에 의해 이끌린다는 가정을 도전한다.
• 온라인 평가의 구조적 및 이데올로기적 역학을 분석하여, 특히 사실 기반 평가와 가치 기반 평가 간의 상호작용을 분석한다.
• 극도로 분열된 온라인 평가 환경에서 메타의견(다른 리뷰에 대해 평가하는 리뷰)이 어떻게 나타나는지 탐색한다.
• 기존의 오락성 및 위조 리뷰 탐지 모델이 이데올로기적으로 동기화된 진정성 있는 사용자 행동을 포착하는 데에 얼마나 한계가 있는지 평가한다.
• 리뷰 폭탄 투척을 단순한 기술적 또는 기만적 문제로 보는 것보다는, 플랫폼 설계와 사용자 권리 부여 간의 근본적 불일치의 증상으로 재정의한다.

제안 방법

• Metacritic에서 *The Last of Us Part II*의 사용자 리뷰와 평가를 대상으로 정량적 분석을 수행하여 시간적 패턴과 정서 변화를 집중적으로 분석하였다.
• 텍스트 마이닝과 정서 분석을 적용하여 리뷰를 긍정, 부정, 또는 메타의견으로 분류하고, 이데올로기적 내용과 수사 전략을 식별하였다.
• NLP 기법을 사용하여 논쟁적이고 평가적인 언어를 탐지함으로써, 다른 리뷰를 비평하거나 평가하는 메타의견의 출현을 추적하였다.
• 초기 리뷰 폭탄 투척자와 이후의 반대 폭탄 투척자 간의 두 집단을 식별하고, 그들의 행동 및 언어적 유사성을 분석하였다.
• 정서 및 어휘 분석을 통해 이데올로기적 극단화를 탐지하고, 사실 기반 비판과 가치 기반 판단을 구분하였다.
• 기존의 위조 리뷰 탐지 모델이 이데올로기적으로 동기화된 진정성 있는 사용자 생성 콘텐츠를 식별하는 데에 얼마나 한계가 있는지 평가하였다.

실험 결과

연구 질문

• RQ1 온라인 플랫폼에서 조율된 리뷰 폭탄 투척의 동기는 무엇이며, 이러한 행동이 오해의 소산보다는 이데올로기적 동기로 얼마나 영향을 받는가?
• RQ2 극도로 분열된 온라인 평가 환경에서 메타의견(다른 리뷰에 대해 평가하는 리뷰)은 어떻게 작용하는가?
• RQ3 리뷰 폭탄 투척에서 대립하는 진영이 이데올로기적으로 대립함에도 불구하고, 행동 및 언어 패턴에서 얼마나 유사한가?
• RQ4 기존의 위조 리뷰 탐지 모델을 적용했을 때, 왜 플랫폼은 이데올로기적으로 동기화된 리뷰 폭탄 투척을 탐지하지 못하는가?
• RQ5 사실 기반 평가와 가치 기반 평가의 차이가 온라인 리뷰 극단화의 역학을 어떻게 형성하는가?

주요 결과

• *The Last of Us Part II*의 리뷰 폭탄 투척은 오해의 소산이 아니라 이데올로기적 동기에서 비롯되었으며, 4chan와 같은 플랫폼에서 정치적으로 동기를 가진 사용자들이 조율된 부정적 평가를 유도하였다.
• 초기 부정적 폭풍에 대응하여, 대립하는 정치 진영의 사용자들이 긍정적 평가의 파동을 일으켜 반응하는 민주적 대응 폭탄 투척이 발생하였다.
• 이데올로기적으로 대립함에도 불구하고, 두 폭탄 투척 집단은 리뷰 수, 시간, 언어 스타일 측면에서 놀랄 만큼 유사한 행동 패턴을 보였다.
• 메타의견(다른 리뷰를 비평하거나 평가하는 리뷰)이 널리 퍼져 있었으며, 부정적 평가와 긍정적 평가의 신뢰성에 영향을 미치는 핵심 역할을 하였다.
• 기존의 위조 리뷰 탐지 모델은 이데올로기적으로 동기화된 진정성 있는 사용자 행동을 식별하는 데에 부적합하다는 것이 연구에서 밝혀졌으며, 새로운 탐지 프레임워크의 필요성을 시사한다.
• 연구 결과는 플랫폼의 객관적 평가 집계 목표와 사용자들이 권한 부여와 도덕적 판단에 뿌리를 두고 있는 동기 사이에 근본적인 불일치가 존재한다는 것을 시사한다.