[논문 리뷰] Who Makes Trends? Understanding Demographic Biases in Crowdsourced Recommendations

Abhijnan Chakraborty, Johnnatan Messias외 4명|arXiv (Cornell University)|2017. 04. 01.

Social Media and Politics인용 수 39

한 줄 요약

이 논문은 트위터에서 커뮤니티 기반으로 추천되는 트렌딩 주제에 대한 인구통계적 편향을 분석하여, 주제가 트렌드로 떠오르기 이전에 주제를 홍보하는 사용자의 성별, 인종, 연령을 조사한다. 미국 내 5,000개 이상의 트렌드를 포함한 3개월 간의 데이터셋을 사용하여, 트렌드를 홍보하는 사용자들이 소수자 집단—특히 중년 블랙 여성—에 비해 현저히 부족한 것으로 밝혀졌다. 트렌드가 확산된 후에는 대표성이 향상되지만, 이는 사회적 추천 시스템의 체계적인 입력 편향을 드러내며, 알고리즘 자체가 아니라 입력 커뮤니티의 편향이 주요 원인임을 시사한다.

ABSTRACT

Users of social media sites like Facebook and Twitter rely on crowdsourced content recommendation systems (e.g., Trending Topics) to retrieve important and useful information. Contents selected for recommendation indirectly give the initial users who promoted (by liking or posting) the content an opportunity to propagate their messages to a wider audience. Hence, it is important to understand the demographics of people who make a content worthy of recommendation, and explore whether they are representative of the media site's overall population. In this work, using extensive data collected from Twitter, we make the first attempt to quantify and explore the demographic biases in the crowdsourced recommendations. Our analysis, focusing on the selection of trending topics, finds that a large fraction of trends are promoted by crowds whose demographics are significantly different from the overall Twitter population. More worryingly, we find that certain demographic groups are systematically under-represented among the promoters of the trending topics. To make the demographic biases in Twitter trends more transparent, we developed and deployed a Web-based service 'Who-Makes-Trends' at twitter-app.mpi-sws.org/who-makes-trends.

연구 동기 및 목표

• 트위터에서 트렌딩 주제를 홍보하는 사용자의 인구통계적 구성이 전체 사용자 인구구성과 일치하는지 조사하기.
• 특히 여성, 블랙 사용자, 중년층과 같은 특정 인구통계적 집단이 트렌드 홍보자 중에서 체계적으로 부족한지 확인하기.
• 주제 홍보자 인구통계적 특성이 소셜 미디어 트렌드의 노출도 및 영향력에 어떻게 영향을 미치는지 이해하기.
• 공개 및 연구 목적을 위해 'Who-Makes-Trends'라 불리는 투명한 웹 도구를 개발하고 배포하기.
• 알고리즘 자체뿐 아니라 입력 커뮤니티의 편향에 초점을 맞춰 알고리즘 추천의 투명성을 증진하기 위한 주장 제기하기.

제안 방법

• 2016년 7월~9월 동안 미국 내 5,000개 이상의 트렌딩 주제를 포함한 3개월 간의 데이터셋을 확보하였으며, 관련 트윗과 사용자 메타데이터를 포함한다.
• 트렌딩이 되기 전과 후에 트렌딩 주제에 게시한 수백만 명의 사용자에 대해 성별, 인종, 연령 등의 인구통계적 속성을 유추하였다.
• 통계적 산란 측도를 사용하여 트렌딩 이전 홍보자 인구통계 분포를 미국 내 전체 트위터 사용자 인구구성과 비교하였다.
• 트렌딩 이전 단계와 이후 단계에서 주제를 게시하는 사용자의 인구통계적 구성 변화를 추적하여 영향력의 변화를 평가하였다.
• 모든 미국 트렌드에 대해 홍보자 인구통계를 시각화할 수 있는 공개 웹 서비스인 'Who-Makes-Trends' (twitter-app.mpi-sws.org/who-makes-trends)를 개발하고 배포하였다.
• 2016년 미국 대선 기간 동안의 이벤트 관련 트렌드를 분석하여, 다양한 인구통계적 집단이 자신들의 관점에 맞는 주제를 어떻게 홍보하는지 관찰하였다.

실험 결과

연구 질문

• RQ1 트위터에서 트렌딩 주제를 홍보하는 사용자의 인구통계적 특성은 미국 내 전체 트위터 사용자 인구구성과 어떻게 비교되는가?
• RQ2 트렌딩 주제 홍보자 중에서 체계적으로 부족한 인구통계적 집단는 누구이며, 그 부족함은 얼마나 심각한가?
• RQ3 주제가 트렌딩 이전 단계에서 트렌딩 이후 단계로 이르는 동안 주제를 게시하는 사용자의 인구통계적 프로필은 어떻게 변화하는가?
• RQ4 한 명의 인구통계적 집단이 주로 홍보하는 주제는 낙관된 관심사인지, 아니면 다양한 시각을 담고 있는 보편적인 사회적 사건인지 어느 정도인지?
• RQ5 트렌드 홍보자의 인구통계적 특성을 폭 드러내는 투명한 시스템은 소셜 미디어 추천 시스템 내 편향에 대한 인식을 높일 수 있는가?

주요 결과

• 트위터에서 트렌딩 주제의 대부분은 전체 트위터 사용자 인구구성과 현저히 다를 정도로 인구통계적 구성이 빗나간 사용자들에 의해 홍보된다.
• 중년 블랙 여성은 트렌드 홍보자 중에서 가장 부족한 인구통계적 집단이며, 일반 사용자 기반에 비해 현저히 낮은 비율로 나타난다.
• 트렌딩 이전 홍보자들은 전체 사용자 인구구성과 매우 부적절한 구성이지만, 트렌딩 이후 주제를 게시하는 사용자들은 전체 트위터 사용자 인구구성과 유사한 인구통계적 특성을 보인다.
• 한 명의 인구통계적 집단이 주로 홍보하는 주제는 일반적으로 낙관된 관심사를 반영하지만, 2016년 미국 대선과 같은 주요 사회적 사건 기간에는 다양한 집단이 서로 다른 관점을 기여한다.
• 2016년 미국 대선은 다양한 인구통계적 집단이 서로 다른 트렌드를 홍보하는 것을 보여주었다: 예를 들어 중년 백인 남성은 #PresidentTrump를 홍보했고, 청소년 및 중년 블랙 및 아시아 남성은 #NowThatTrumpIsPresident를 홍보했다.
• 본 연구는 입력 커뮤니티—특히 트렌드 홍보자—가 추천 파이프라인에 심각한 인구통계적 편향을 유입한다는 점을 입증하였으며, 이는 알고리즘이나 출력 측면만 분석하는 데서는 간과되는 경향이 있다.