[論文レビュー] Variation across Scales: Measurement Fidelity under Twitter Data Sampling

Siqi Wu, Marian-Andrei Rizoiu+1 more|arXiv (Cornell University)|Mar 21, 2020

Complex Network Analysis Techniques参考文献 34被引用数 5

ひとこと要約

本稿は、複数の時間スケールおよびトピックにわたり、TwitterのフィルタードスティングAPIのサンプリングがデータ品質に与える影響を調査する。サブクラッラーを用いて完全なツイートストリームを再構築することで、Twitterのレート制限メッセージが欠落したツイート量を正確に示していることを示し、サンプリングがエンティティ頻度、ネットワーク構造、リツイートカスケードダイナミクスを歪めることを明らかにした。これにより、サンプルデータから真の統計量を推定する手法が提供される。

ABSTRACT

A comprehensive understanding of data quality is the cornerstone of measurement studies in social media research. This paper presents in-depth measurements on the effects of Twitter data sampling across different timescales and different subjects (entities, networks, and cascades). By constructing complete tweet streams, we show that Twitter rate limit message is an accurate indicator for the volume of missing tweets. Sampling also differs significantly across timescales. While the hourly sampling rate is influenced by the diurnal rhythm in different time zones, the millisecond level sampling is heavily affected by the implementation choices. For Twitter entities such as users, we find the Bernoulli process with a uniform rate approximates the empirical distributions well. It also allows us to estimate the true ranking with the observed sample data. For networks on Twitter, their structures are altered significantly and some components are more likely to be preserved. For retweet cascades, we observe changes in distributions of tweet inter-arrival time and user influence, which will affect models that rely on these features. This work calls attention to noises and potential biases in social data, and provides a few tools to measure Twitter sampling effects.

研究の動機と目的

• Twitterのフィルタードストリームのサンプリングが、異なる時間スケールおよびトピックにおいてデータの完全性と測定の正確性にどのように影響するかを理解すること。
• Twitterのレート制限メッセージが、欠落したツイートの量を信頼性を持って示しているかどうかを調査すること。
• サンプリングがエンティティ頻度、ランク付け、ネットワーク構造、リツイートカスケードといった重要なソーシャルメディア指標に与える影響を評価すること。
• 完全なデータへのアクセスを必要とせずに、サンプルデータから真の統計量（頻度、ランク付けなど）を推定する手法を開発すること。
• 研究者がTwitterのサンプリングメカニズムによって生じるバイアスを軽減するためのツールと実証的証拠を提供すること。

提案手法

• 過去の研究から抽出されたキーワードと言語を追跡する複数のサブクラッラーを用いて、高価なFirehoseサービスを避けて完全なツイートストリームを構築した。
• TwitterのフィルタードストリームAPIからのサンプルデータと完全なデータストリームを比較することで、サンプリング効果を測定した。
• 欠落ツイート量の代理指標としてレート制限メッセージを用い、実証的比較によりその正確性を検証した。
• エンティティのサンプリングを一様確率を持つベルヌーイ過程としてモデル化し、実データ分布とよく一致することを示した。
• 統計的推論を用いて、サンプル観測から真のエンティティ頻度およびランク付けを推定した。
• リツイートネットワークおよびカスケードの構造的変化を分析し、CCDFを用いて到着間隔と潜在的カバレッジに注目した。

実験結果

リサーチクエスチョン

• RQ1 Twitterのレート制限メッセージは、フィルタードストリームにおける欠落ツイート量をどの程度正確に反映しているか？
• RQ2 サンプリングは異なる時間スケール（毎時、ミリ秒レベル）でどのように変動し、その時間的変動の原因は何か？
• RQ3 サンプリングがエンティティ頻度およびランク付けにどの程度歪みをもたらし、サンプルから真の値を推定できるか？
• RQ4 サンプリング効果はリツイートネットワークの構造およびカスケードダイナミクスにどのように影響するか？
• RQ5 インターバル時間やユーザーインフルエンスといった拡散モデルの特徴に、サンプリングがどのような影響を及ぼすか？

主な発見

• Twitterのレート制限メッセージは、欠落ツイート量を非常に正確に近似しており、データ損失の信頼できる指標である。
• サンプリングレートは時間スケールによって顕著に異なる：毎時のサンプリングは昼夜のリズムに影響を受けるが、ミリ秒レベルのサンプリングは実装上の選択による。
• 一様確率を持つベルヌーイ過程はエンティティのサンプリングをよくモデル化でき、これによりサンプルデータから真のエンティティ頻度およびランク付けを推定できる。
• 完全なデータではリツイートの中央値到着間隔は22.9秒であるが、サンプルデータでは105.7秒にまで増加し、4.6倍以上にまで拡大しており、バイラル性の評価を歪める。
• カスケードの相対的潜在的カバレッジは低く見積もられる：50％のカスケードで、サンプルデータでは真の潜在的カバレッジの54.4％未満にとどまる。特に初期段階の予測ではさらに大きなバイアスが生じる。
• 50件以上のリツイートを含むカスケードでは、完全なカスケード数のうち29.6％しかサンプルに含まれず、平均リツイート数も真の値の70.2％にまで低下する。