[논문 리뷰] Is the Sample Good Enough? Comparing Data from Twitter's Streaming API with Twitter's Firehose

Fred Morstatter, Jürgen Pfeffer외 2명|arXiv (Cornell University)|2013. 06. 21.

Complex Network Analysis Techniques인용 수 6

한 줄 요약

이 논문은 다양한 차원에서 전체 Firehose 데이터셋과 대비하여 Twitter Streaming API의 대표성을 평가한다. 커버리지가 높을 경우 대규모 해시태그 및 주제 분석에서 Streaming API는 합리적인 성능을 보이나, 소규모 샘플링 시나리오에서는 편향을 유발하고, 특히 네트워크 및 중심성 측정에서 랜덤 샘플링보다 성능이 열 劣하며, 지리정보 태그가 있는 데이터는 공간 필터링으로 인해 거의 완전히 수확됨을 발견한다.

ABSTRACT

Twitter is a social media giant famous for the exchange of short, 140-character messages called "tweets". In the scientific community, the microblogging site is known for openness in sharing its data. It provides a glance into its millions of users and billions of tweets through a "Streaming API" which provides a sample of all tweets matching some parameters preset by the API user. The API service has been used by many researchers, companies, and governmental institutions that want to extract knowledge in accordance with a diverse array of questions pertaining to social media. The essential drawback of the Twitter API is the lack of documentation concerning what and how much data users get. This leads researchers to question whether the sampled data is a valid representation of the overall activity on Twitter. In this work we embark on answering this question by comparing data collected using Twitter's sampled API service with data collected using the full, albeit costly, Firehose stream that includes every single published tweet. We compare both datasets using common statistical metrics as well as metrics that allow us to compare topics, networks, and locations of tweets. The results of our work will help researchers and practitioners understand the implications of using the Streaming API.

연구 동기 및 목표

• Twitter의 Streaming API가 전체 Twitter 활동에 대해 통계적으로 대표적인 샘플을 제공하는지 평가하는 것.
• 샘플링 편향이 주제 모델링, 네트워크 분석, 지리적 분포와 같은 일반적인 분석 작업에 미치는 영향을 평가하는 것.
• 샘플링 메커니즘의 편향을 분리하기 위해 Streaming API 결과를 Firehose에서의 랜덤 샘플과 전체 Firehose와 비교하는 것.
• 연구자들이 언제이고 어떻게 Streaming API를 신뢰할 수 있게 하는 실증적 지침을 제공하는 것.
• 다양한 파rameter 세트와 조건에서 Streaming API의 실제 데이터 커버리지 범위를 추정하는 것.

제안 방법

• 동일한 파rameters를 사용하여 Streaming API와 Twitter Firehose에서 병렬 데이터셋을 수집한다.
• Streaming API와 Firehose 데이터 간 상위 n개 해시태그를 비교하기 위해 상관계수를 사용한다.
• 모든 데이터셋 간 주제 분포를 추출하고 비교하기 위해 잠재적 디리히레트 분할(Latent Dirichlet Allocation, LDA)을 적용한다.
• 두 데이터셋에서 사용자-사용자 재트윗 네트워크를 구축하고 상위 100명의 핵심 참여자 및 네트워크 중심성 지표를 비교한다.
• 대륙 및 공간 지역별로 지리정보 태그가 있는 트윗 분포를 분석하여 위치 기반 분석에서의 샘플링 편향을 평가한다.
• 통계적 안정성 평가를 위해 Streaming API 결과를 Firehose에서 100개의 랜덤 샘플 데이터셋과 비교한다.

실험 결과

연구 질문

• RQ1 Streaming API는 Firehose에 비해 전체 해시태그 분포를 어느 정도 잘 대표하는가?
• RQ2 전체 데이터셋과 비교했을 때 Streaming API는 주제 분포를 어느 정도 유지하는가?
• RQ3 Streaming API 데이터에서 네트워크 중심성 측정 및 핵심 참여자 식별이 얼마나 정확하게 복원되는가?
• RQ4 Streaming API와 Firehose 간 지리정보 태그가 있는 트윗의 분포는 어떻게 비교되는가?
• RQ5 주요 분석 과제에서 Streaming API는 Firehose에서의 랜덤 샘플링보다 성능이 뛰어나거나 열 劣한가?

주요 결과

• 매칭 트윗 수가 증가함에 따라 Streaming API의 커버리지가 크게 감소하며, 커버리지가 낮을 경우 성능이 떨어진다.
• 상위 해시태그 분석에서 n이 작을 경우 Streaming API는 Firehose와 음의 상관관계를 보이며, 반면 랜덤 샘플링은 높은 양의 상관관계를 유지한다.
• LDA를 이용한 주제 모델링 결과, 특히 커버리지가 낮을 경우, Firehose에서의 랜덤 샘플보다 Streaming API 데이터에서 더 높은 정확도를 기록한다.
• 평균적으로, Streaming API는 하루치 데이터에서 상위 100명의 핵심 참여자를 50–60% 정도 복원하며, 여러 날에 걸친 데이터 집계로 성능이 향상된다.
• 네트워크 중심성 지수는 Streaming API가 커버하는 데이터 비율과 강하게 상관관계를 보이며, 네트워크 구조에 체계적인 편향이 있음을 시사한다.
• 샘플링에도 불구하고, 공간 경계 상자(geographic bounding boxes)를 사용할 경우 Streaming API는 지리정보 태그가 있는 트윗의 거의 전부를 수확한다. 이는 공간 필터링 효과 때문이다.