[논문 리뷰] Random Voting Effects in Social-Digital Spaces: A case study of Reddit Post Submissions

Maria Glenski, Thomas J. Johnston외 1명|arXiv (Cornell University)|2015. 06. 05.

Social Media and Politics참고 문헌 8인용 수 11

한 줄 요약

이 연구는 레딧에서 실시간 실험을 수행하여 무작위 투표 조작이 게시물 인기에 어떤 영향을 미치는지 조사한다. 결과적으로 한 명의 무작위 업보트는 평균적으로 최종 게시물 점수를 11.02% 상승시키며, 2000표 이상을 얻을 확률은 24.6% 증가하는 것으로 나타났다. 반면 한 명의 무작위 다운보트는 점수를 평균 5.15% 감소시키며, 사회-디지털 투표 시스템에서 강력한 군중 효과가 있음을 입증한다.

ABSTRACT

At a time when information seekers first turn to digital sources for news and opinion, it is critical that we understand the role that social media plays in human behavior. This is especially true when information consumers also act as information producers and editors by their online activity. In order to better understand the effects that editorial ratings have on online human behavior, we report the results of a large-scale in-vivo experiment in social media. We find that small, random rating manipulations on social media submissions created significant changes in downstream ratings resulting in significantly different final outcomes. Positive treatment resulted in a positive effect that increased the final rating by 11.02% on average. Compared to the control group, positive treatment also increased the probability of reaching a high rating (>=2000) by 24.6%. Contrary to the results of related work we also find that negative treatment resulted in a negative effect that decreased the final rating by 5.15% on average.

연구 동기 및 목표

• 사회-디지털 플랫폼에서 무작위 평가 조작이 후속 투표 행동에 어떤 영향을 미치는지 조사하기 위해.
• 초기 무작위 투표가 레딧에서 최종 게시물 인기에 영향을 주는 군중 효과를 유도하는지 평가하기 위해.
• 긍정적 및 부정적 치료 효과가 점수 분포 전반에 대해 대칭적인지 비대칭적인지 판단하기 위해.
• 치료 시기와 서브레딧 특성의 투표 결과에 미치는 영향을 검토하기 위해.
• 낮은 투표 참여도와 인위적 영향에 취약한 소셜 미디어 랭킹 시스템의 취약점을 부각하기 위해.

제안 방법

• 실시간 게시물 제출에 무작위 업보트 또는 다운보트를 삽입하여 레딧에서 실시간 실험을 수행하였다.
• 사용자들이 조작을 사전에 인지하지 못하도록, 여러 서브레딧에 걸쳐 게시물에 무작위로 치료를 할당하였다.
• 치료군(업, 다운)과 대조군 간의 최종 게시물 점수 및 평가 분포를 비교하였다.
• 상위 8개 활성 서브레딧과 상위 500개 서브레딧을 포함한 다양한 서브레딧에서 치료 효과를 분석하였다.
• 신뢰구간과 p값을 포함하여 처리 효과의 유의성을 평가하기 위해 통계 모델링을 사용하였다.
• 처리 시기(지연 간격)와 하루 중 시간이 결과 변동성에 미치는 영향을 측정하였다.

실험 결과

연구 질문

• RQ1 레딧에서 한 명의 무작위 업보트가 게시물의 최종 점수를 유의미하게 증가시키는가?
• RQ2 레딧에서 한 명의 무작위 다운보트가 게시물의 최종 점수를 유의미하게 감소시키는가?
• RQ3 긍정적 및 부정적 치료 효과가 점수 분포 전반에 대해 대칭적인가?
• RQ4 치료 시기(즉각적 대비 지연)가 군중 효과의 크기에 영향을 미치는가?
• RQ5 제출 빈도와 같은 서브레딧 특성이 치료 효과의 유의성과 관련이 있는가?

주요 결과

• 한 명의 무작위 업보트는 제어군 대비 평균 최종 게시물 점수를 11.02% 상승시켰다.
• 긍정적 치료로 인해 게시물이 2000표 이상을 얻을 확률이 24.6% 증가하였다.
• 한 명의 무작위 다운보트는 제어군 대비 평균 최종 점수를 5.15% 감소시켰다.
• 평균 효과의 비대칭성에도 불구하고, 부정적 치료는 분포의 상단 꼬리에 위치한 높은 점수를 얻을 확률을 유의미하게 감소시키지 않았다.
• 상위 10개 빈도가 높은 서브레딧에서는 유의미한 치료 효과가 나타났으며, 업치료 효과가 유의미한 서브레딧은 22%, 다운치료 효과가 유의미한 서브레딧은 21.6%였다.
• 서브레딧 제출 빈도와 치료 효과의 유의성 간에 유의미한 상관관계가 없었으며, 이는 인기 여부가 조작에 대한 취약성을 예측하지 못함을 시사한다.