[論文レビュー] Big Questions for Social Media Big Data: Representativeness, Validity and Other Methodological Pitfalls

Zeynep Tüfekçi|arXiv (Cornell University)|Mar 28, 2014

Complex Network Analysis Techniques参考文献 20被引用数 118

ひとこと要約

この論文は、ソーシャルメディアの大規模データ研究における方法論的課題を批判的に検討し、代表性と妥当性に焦点を当てる。トーフェッチは、Twitterへの過剰依存、ハッシュタグベースのサンプリング、およびサブツイートなどのユーザー行動といった、データ解釈を損なう構造的バイアスを指摘し、ソーシャルメディア分析分野におけるより厳密で文脈に配慮した分析手法の必要性を訴えている。

ABSTRACT

Large-scale databases of human activity in social media have captured scientific and policy attention, producing a flood of research and discussion. This paper considers methodological and conceptual challenges for this emergent field, with special attention to the validity and representativeness of social media big data analyses. Persistent issues include the over-emphasis of a single platform, Twitter, sampling biases arising from selection by hashtags, and vague and unrepresentative sampling frames. The socio-cultural complexity of user behavior aimed at algorithmic invisibility (such as subtweeting, mock-retweeting, use of "screen captures" for text, etc.) further complicate interpretation of big data social media. Other challenges include accounting for field effects, i.e. broadly consequential events that do not diffuse only through the network under study but affect the whole society. The application of network methods from other fields to the study of human social activity may not always be appropriate. The paper concludes with a call to action on practical steps to improve our analytic capacity in this promising, rapidly-growing field.

研究の動機と目的

• ソーシャルメディアの大規模データ研究における主な方法論的欠陥、特にデータの代表性と妥当性に関するものを特定し批判すること。
• 特にTwitterへの過剰依存に起因するプラットフォーム固有のバイアスが、ソーシャルメディア分析の結果にどのように歪みをもたらすかを検討すること。
• サブツイートやテキストのスクリーンショットによる記録といったユーザー行動が、アルゴリズム検出を回避する戦略として機能し、データ解釈を複雑にする仕組みを分析すること。
• 研究対象ネットワークを超えて行動に影響を与える大規模な社会的出来事（フィールド効果）が、分析の妥当性に与える影響を検討すること。
• 急成長するソーシャルメディアの大規模データ研究分野における、より良い方法論的基準と文脈への配慮の必要性を提起すること。

提案手法

• サンプリングやプラットフォーム選定における繰り返し発生する方法論的欠陥を特定するため、既存のソーシャルメディアの大規模データ研究を分析する。
• サブツイートやモックリツイートといったユーザー行動を、アルゴリズムの可視性を回避する戦略としての役割を果たすものとして分析し、データの整合性に与える影響を検討する。
• 社会的・文化的文脈を考慮せずに、他の分野で使われるネットワーク分析手法を人間の社会的行動に適用する際の限界を評価する。
• 研究対象ネットワークを超えて行動に影響を与える大規模な社会的出来事（フィールド効果）の役割を強調し、それらがネットワークに基づく推論を歪める仕組みを明らかにする。
• ハッシュタグをサンプリングのメカニズムとして使用する際の批判を提示し、選択バイアスが生じ、一般大衆の意見を適切に反映しないことを指摘する。
• プラットフォームのダイナミクス、ユーザーの自発性、社会的影響を考慮に入れた、より厳密で文脈に配慮したデータ分析のフレームワークを提言する。

実験結果

リサーチクエスチョン

• RQ1 Twitterのような単一プラットフォームへの過剰依存が、ソーシャルメディアの大規模データ研究における代表性をどの程度損なうか。
• RQ2 サブツイートやテキストのスクリーンショットによる記録といったユーザー行動が、大規模データ解釈の妥当性をどの程度損なうか。
• RQ3 研究対象ネットワークを超えて行動に影響を与える大規模な社会的・政治的出来事（フィールド効果）が、ソーシャルメディア分析の結果にどのように歪みをもたらすか。
• RQ4 他の分野で使われるネットワーク分析手法が、なぜソーシャルメディア文脈における人間の社会的行動にしばしば不適切なのか。
• RQ5 ソーシャルメディアの大規模データ研究の妥当性と信頼性を高めるために、どのような方法論的改善が必要か。

主な発見

• Twitterへの過剰依存は、年齢、地理的要因、所得水準といった観点で一般大衆とは異なるユーザー層に偏った顕著なサンプリングバイアスを引き起こす。
• ハッシュタグベースのサンプリングは選択バイアスを生じさせ、しばしばニッチなコミュニティや活動家層の声を反映するだけであり、一般世論を適切に反映しない。
• サブツイートやアルゴリズムを回避するためのスクリーンショットの使用といったユーザー行動は、標準的な分析ツールでは系統的に検出できないデータを生み出し、データの妥当性を損なう。
• 大規模な政治的・社会的出来事といったフィールド効果は、研究対象ネットワークに限定されない形でネットワークダイナミクスを変化させ、ネットワーク中心の推論を無効にする。
• 社会的・文化的文脈を考慮せずに、他の分野のネットワーク分析手法をソーシャルメディアに適用することは、しばしば誤解を招くか、妥当でない結論を導く。
• 本論文は、現在のソーシャルメディアの大規模データ研究における方法論的実践が不十分であると結論づけ、より厳密で文脈に配慮し、倫理的根拠を持つアプローチの必要性を訴えている。