[논문 리뷰] Popularity and Quality in Social News Aggregators: A Study of Reddit and Hacker News

Greg Stoddard|arXiv (Cornell University)|2015. 01. 30.

Asian Culture and Media Studies인용 수 13

한 줄 요약

이 논문은 가시성 편향과 사회적 영향력을 보정하기 위해 사용자 간 동일한 가시성 조건을 반사적으로 시뮬레이션함으로써 Reddit 및 Hacker News의 기사들에 대한 내재적 품질을 추정하기 위해 포아송 회귀 모델을 제안한다. 강력한 사회적 영향력 효과가 존재하더라도, 이 연구는 이러한 플랫폼에서의 인기도가 놀랍게도 진정된 기사 품질을 정확하게 반영하고 있음을 발견한다.

ABSTRACT

In this paper we seek to understand the relationship between the online popularity of an article and its intrinsic quality. Prior experimental work suggests that the relationship between quality and popularity can be very distorted due to factors like social influence bias and inequality in visibility. We conduct a study of popularity on two different social news aggregators, Reddit and Hacker News. We define quality as the relative number of votes an article would have received if each article was shown, in a bias-free way, to an equal number of users. We propose a simple poisson regression method to estimate this quality metric from time-series voting data. We validate our methods on data from Reddit and Hacker News, as well the experimental data from prior work. This method works well even though the collected data is subject to common social media biases. Using these estimates, we find that popularity on Reddit and Hacker News is a stronger reflection of intrinsic quality than expected.

연구 동기 및 목표

• Reddit 및 Hacker News와 같은 사회적 뉴스 집계자에서 사회적 영향력 편향이 존재하더라도 인기도가 내재적 기사 품질을 얼마나 정확히 반영하는지 조사하기 위해.
• 투표 시스템에서의 '부자가 더 부자가 되는 효과'와 가시성 편향을 고려한 기사 품질 추정 방법을 개발하기 위해.
• Reddit 및 Hacker News의 실제 데이터와 이전 연구의 실험 데이터를 사용하여 방법을 검증하기 위해.
• 특히 Reddit에서 인기 있는 콘텐츠의 가시성을 확대하는 복제 게재(reposting)의 역할을 분석하기 위해.
• 초기 투표 행동이 장기적 인기도 결과에 상당한 왜곡을 초래하는지 평가하기 위해.

제안 방법

• 내재적 품질을 '가시성 편향이 없을 경우 동일한 수의 사용자에게 노출되었을 때 기사가 얻을 것으로 예상되는 투표 수'로 정의한다.
• Reddit 및 Hacker News의 시계열 투표 데이터를 사용하여 포아송 회귀 프레임워크를 활용해 업보팅 속도를 모델링한다.
• 시간과 가시성 영향을 조정한 후, 투표 패턴에 포아송 모델을 적합시켜 잠재적 품질 점수를 추정한다.
• 실제 플랫폼 데이터와 MusicLab 연구에서 확보한 실험 데이터를 모두 사용하여 방법의 탄력성을 검증한다. 이는 사회적 편향에 강건함을 입증한다.
• 복제 게재 행동을 분석에 통합하여 그 가시성 및 최종 인기도에 미치는 영향을 평가한다.
• 검증 서브셋의 Reddit 영상에서 유튜브 시청 수를 외부 프록시로 사용하여 내재적 품질을 평가한다.

실험 결과

연구 질문

• RQ1 사회적 영향력과 가시성 편향이 존재하더라도 Reddit 및 Hacker News에서의 인기도가 기사의 내재적 품질을 어느 정도 반영하는가?
• RQ2 관찰된 투표 데이터에서 포아송 회귀 모델이 내재적 기사 품질을 얼마나 잘 추정할 수 있는가?
• RQ3 Reddit에서 복제 게재는 이미 외부적으로 인기 있는 콘텐츠의 인기를 어떻게 높이는가?
• RQ4 초기 투표 패턴은 사회적 뉴스 집계자에서 기사의 장기적 인기도에 어떤 영향을 미치는가?
• RQ5 부자들이 더 부자가 되는 효과가 이러한 플랫폼에서 품질과 인기 간의 관계를 어느 정도 왜곡하는가?

주요 결과

• 강력한 사회적 영향력과 가시성 편향이 존재하더라도 Reddit 및 Hacker News에서의 인기도가 이전에 예상한 것보다 내재적 기사 품질을 더 강력하게 반영하고 있다.
• 포아송 회귀 모델은 사회 미디어에서 흔히 발생하는 편향이 존재하는 데이터에서도 기사 품질을 성공적으로 추정할 수 있다.
• 유튜브 시청 수가 100만 건 이상인 영상은 평균 3.6회 Reddit에 제출된 반면, 인기 없는 영상은 1.5회 제출되어, 외부 인기도와 제출 빈도 사이에 강한 상관관계가 있음을 시사한다.
• 100만 건 이상의 시청 수를 기록한 영상 중 59%만 첫 제출 시 인기 확보를 했지만, 인기 없는 영상의 경우 이 비율이 76%에 이르러, 높은 품질의 콘텐츠일수록 더 자주 복제되며 결국 인기를 얻을 가능성이 높다는 것을 시사한다.
• 복제 게재는 외부적으로 인기 있는 콘텐츠가 그렇지 않으면 간과될 수 있는 가능성을 고려할 때, 그 가시성을 극대화하는 데 특히 효과적이며, 이는 복제 게재가 가시성을 확대하는 데서 중요한 역할을 한다는 것을 강조한다.
• 초기 내림표는 기사의 인도에 강력하고, 가능하면 돌이킬 수 없는 영향을 미치며, 이는 초반 투표 행동이 장기적 결과에 중대한 영향을 미친다는 것을 시사한다.