[論文レビュー] When is it Biased? Assessing the Representativeness of Twitter's Streaming API

Fred Morstatter, Jürgen Pfeffer+1 more|arXiv (Cornell University)|Jan 30, 2014

Mobile Crowdsensing and Crowdsourcing参考文献 14被引用数 45

ひとこと要約

この論文は、Firehoseデータに依存せずに、公開済みのSample APIを代表的なプロキシとして用いることで、TwitterのStreaming APIにおけるバイアスを検出する手法を提案する。Streaming APIのトレンドが真のTwitterの活動から顕著に逸脱する時間帯を特定し、地理的および時間的要因が異なるクエリにおいても高い一貫性を示す。これにより、研究者が開かれたデータソースのみを用いてもバイアス検出が可能になる。

ABSTRACT

Twitter has captured the interest of the scientific community not only for its massive user base and content, but also for its openness in sharing its data. Twitter shares a free 1% sample of its tweets through the "Streaming API", a service that returns a sample of tweets according to a set of parameters set by the researcher. Recently, research has pointed to evidence of bias in the data returned through the Streaming API, raising concern in the integrity of this data service for use in research scenarios. While these results are important, the methodologies proposed in previous work rely on the restrictive and expensive Firehose to find the bias in the Streaming API data. In this work we tackle the problem of finding sample bias without the need for "gold standard" Firehose data. Namely, we focus on finding time periods in the Streaming API data where the trend of a hashtag is significantly different from its trend in the true activity on Twitter. We propose a solution that focuses on using an open data source to find bias in the Streaming API. Finally, we assess the utility of the data source in sparse data situations and for users issuing the same query from different regions.

研究の動機と目的

• TwitterのStreaming APIにおけるバイアス検出のための安価な手法が不足しているという問題に対処すること。これは広く使われているが、代表的でない可能性がある。
• Firehoseへのアクセスを必要とせずに、Streaming APIデータにおける顕著なバイアスを示す時間帯を特定する手法を開発すること。
• Sample APIがStreaming APIの結果におけるバイアス検出の基準としての代表的妥当性を評価すること。
• 同一のクエリが異なる地理的場所および時間帯で実行された際に、一貫した結果をもたらすかどうかを評価すること。
• 研究者に対して、Firehoseベースの検証に代わる実用的でオープンソースの代替手法を提供すること。

提案手法

• TwitterのSample API（全ツイートの1％のランダムサンプル）を、Streaming APIの結果と比較する基準データセットとして活用する。
• 米国とオーストリアから同時に発行された同一のクエリにおけるツイートIDセットを比較し、地理的整合性を評価する。
• 連続するStreaming APIクエリにおける重複する10分間隔を比較し、時間的安定性を評価する。
• Jaccard類似係数を用いて、異なるクエリ間のツイートIDセットの重複度を定量化し、代表的妥当性を測定する。
• 複数のクエリにわたるJaccardスコアに対して統計的分析を実施し、バイアスを示す顕著な逸脱を検出する。
• 高トラフィックのクエリに対して手法を検証し、Streaming APIのトレンドがSample APIのベースラインから顕著に逸脱する時間窓を特定する。

実験結果

リサーチクエスチョン

• RQ1 Firehoseへのアクセスがなくても、Sample APIはStreaming APIにおけるバイアス検出の信頼できるプロキシとして機能するか？
• RQ2 同じクエリに対して、異なる地理的地域におけるStreaming APIの結果は一貫しているか？
• RQ3 異なる時間に発行された同一のクエリが、Streaming APIで類似した結果をもたらすか？
• RQ4 どの時間帯において、Streaming APIのデータが真のTwitter活動から顕著に逸脱しているか？
• RQ5 本手法は、クエリの件数が少ないスパースデータの状況においても効果的か？

主な発見

• Sample APIは高い代表的妥当性を示し、米国とオーストリア間の地理的比較において、中央値のJaccard類似係数が0.976であった。
• 時間的比較ではほぼ同一の結果が得られた：米国のクエリでは中央値が0.996、平均が0.995、標準偏差はわずか0.003であった。
• オーストリアのクエリでは標準偏差が0.186と高めであったが、依然として高い平均Jaccardスコア（0.942）を維持しており、強い一貫性が確認された。
• 本手法は、Streaming APIのトレンドがSample APIのベースラインから顕著に逸脱する時間帯を効果的に特定できた。
• 本手法は高件数のクエリに対して最も効果的であり、Sample APIの信号が限られるスパースデータの状況では性能が低下した。
• 本研究は、Streaming APIの結果が地域および時間窓にわたって極めて一貫しており、基準手法の妥当性を裏付けた。