[논문 리뷰] Variation across Scales: Measurement Fidelity under Twitter Data Sampling

Siqi Wu, Marian-Andrei Rizoiu외 1명|arXiv (Cornell University)|2020. 03. 21.

Complex Network Analysis Techniques참고 문헌 34인용 수 5

한 줄 요약

이 논문은 다양한 시간스케일과 주제에서 티커트의 필터링된 스트리밍 API 샘플링이 데이터 품질에 미치는 영향을 조사한다. 서브크롤러를 사용하여 완전한 트윗 스트림을 재구성함으로써, 티커트의 레이트 리밋 메시지가 누락된 트윗량을 정확히 나타내며, 샘플링이 엔티티 빈도, 네트워크 구조, 리트윗 캐스케이드 동역학을 왜곡함을 보여주며, 샘플 데이터로부터 진짜 통계치를 추정하는 방법을 제시한다.

ABSTRACT

A comprehensive understanding of data quality is the cornerstone of measurement studies in social media research. This paper presents in-depth measurements on the effects of Twitter data sampling across different timescales and different subjects (entities, networks, and cascades). By constructing complete tweet streams, we show that Twitter rate limit message is an accurate indicator for the volume of missing tweets. Sampling also differs significantly across timescales. While the hourly sampling rate is influenced by the diurnal rhythm in different time zones, the millisecond level sampling is heavily affected by the implementation choices. For Twitter entities such as users, we find the Bernoulli process with a uniform rate approximates the empirical distributions well. It also allows us to estimate the true ranking with the observed sample data. For networks on Twitter, their structures are altered significantly and some components are more likely to be preserved. For retweet cascades, we observe changes in distributions of tweet inter-arrival time and user influence, which will affect models that rely on these features. This work calls attention to noises and potential biases in social data, and provides a few tools to measure Twitter sampling effects.

연구 동기 및 목표

• 티커트의 필터링된 스트림 샘플링이 다양한 시간스케일과 주제에서 데이터 완전성과 측정 정밀도에 어떻게 영향을 미치는지 이해하기 위해.
• 티커트의 레이트 리밋 메시지가 누락된 트윗의 양을 신뢰성 있게 나타내는지 조사하기 위해.
• 샘플링이 핵심 소셜미디어 측정치에 미치는 영향—엔티티 빈도, 순위, 네트워크 구조, 리트윗 캐스케이드—를 평가하기 위해.
• 전체 데이터 접근 없이도 샘플 데이터로부터 진짜 통계치(예: 빈도, 순위)를 추정할 수 있는 방법을 개발하기 위해.
• 연구자들이 티커트의 샘플링 메커니즘으로 인해 발생하는 편향을 완화하는 데 도움이 되는 도구와 실증적 증거를 제공하기 위해.

제안 방법

• 이전 연구에서 사용된 키워드와 언어를 추적하기 위해 여러 서브크롤러를 사용하여 완전한 트윗 스트림을 구축함으로써, 비용이 많이 드는 파이어호스 서비스를 피함.
• 티커트의 필터링된 스트림 API로부터의 샘플 데이터와 완전한 데이터 스트림을 비교하여 샘플링 영향을 측정함.
• 누락된 트윗량의 Proxy로 레이트 리밋 메시지를 사용하고, 실증적 비교를 통해 그 정확성을 검증함.
• 균일한 비율을 가진 베르누이 과정으로 엔티티 샘플링을 모델링하여, 실측 분포와 잘 맞는다는 것을 보임.
• 통계적 추론을 적용하여 샘플 관측치로부터 진짜 엔티티 빈도와 순위를 추정함.
• 리트윗 네트워크와 캐스케이드의 구조적 변화를 분석하며, 상호도착 시간과 잠재적 영향 범위를 누적분포함수(CCDF)를 사용해 집중적으로 분석함.

실험 결과

연구 질문

• RQ1 티커트의 레이트 리밋 메시지는 필터링된 스트림에서 누락된 트윗의 양을 얼마나 정확하게 반영하는가?
• RQ2 샘플링은 다양한 시간스케일(시간 단위, 밀리초 단위)에서 어떻게 달라지며, 시간적 변동의 원인은 무엇인가?
• RQ3 샘플링은 엔티티 빈도와 순위에 얼마나 큰 왜곡을 초래하며, 샘플에서 진짜 값을 추정할 수 있는가?
• RQ4 샘플링 영향은 리트윗 네트워크의 네트워크 구조와 캐스케이드 동역학에 어떻게 영향을 미치는가?
• RQ5 샘플링은 상호도착 시간과 사용자 영향력 등의 확산 모델 특성에 어떤 영향을 미치는가?

주요 결과

• 티커트의 레이트 리밋 메시지는 누락된 트윗의 양을 매우 정확히 반영하며, 데이터 손실의 신뢰할 수 있는 지표로 기능한다.
• 샘플링 비율은 시간스케일에 따라 크게 달라진다: 시간 단위 샘플링은 일일 리듬의 영향을 받지만, 밀리초 단위 샘플링은 구현 선택에 의해 결정된다.
• 균일한 비율을 가진 베르누이 과정은 엔티티 샘플링을 잘 모델링하며, 이는 샘플 데이터로부터 진짜 엔티티 빈도와 순위를 추정할 수 있게 한다.
• 완전한 데이터에서는 리트윗 간 평균 도착 간격이 22.9초였지만, 샘플 데이터에서는 105.7초로 증가하여 4.6배 이상 길어지며, 이는 번영도 평가에 왜곡을 초래한다.
• 캐스케이드의 상대적 잠재적 영향 범위는 과소평가된다: 샘플 데이터에서 50%의 캐스케이드가 진짜 잠재적 영향 범위의 54.4% 미만만을 차지하며, 초기 예측에서는 더 큰 편향이 나타난다.
• 최소 50회의 리트윗을 가진 캐스케이드의 경우, 샘플에서 완전한 캐스케이드 수의 29.6%만이 포착되며, 평균 리트윗 수는 진짜 값의 70.2%로 감소한다.