[論文レビュー] A method to evaluate the reliability of social media data for social network analysis

Derek Weber, Mehwish Nasim+2 more|arXiv (Cornell University)|Oct 17, 2020

Complex Network Analysis Techniques参考文献 36被引用数 9

ひとこと要約

本稿は、Twitter上でRAPIDとTwarcの2つのツールを用いて収集した並列データセットを比較することにより、ソーシャルメディアデータの信頼性を評価する体系的な手法を提案する。収集ツールの違いがネットワーク構造や centrality ランキングに顕著に影響することを明らかにし、特にメンションネットワークにおいて顕著である。これは、ソーシャルネットワーク分析の再現可能性と妥当性を損なう要因となる。

ABSTRACT

To study the effects of Online Social Network (OSN) activity on real-world offline events, researchers need access to OSN data, the reliability of which has particular implications for social network analysis. This relates not only to the completeness of any collected dataset, but also to constructing meaningful social and information networks from them. In this multidisciplinary study, we consider the question of constructing traditional social networks from OSN data and then present a measurement case study showing how the reliability of OSN data affects social network analyses. To this end we developed a systematic comparison methodology, which we applied to two parallel datasets we collected from Twitter. We found considerable differences in datasets collected with different tools and that these variations significantly alter the results of subsequent analyses. Our results lead to a set of guidelines for researchers planning to collect online data streams to infer social networks.

研究の動機と目的

• ソーシャルメディアデータ収集ツールのばらつきが、ソーシャルネットワーク分析（SNA）の結果の信頼性および妥当性に与える影響を調査すること。
• 特にサンプリングおよび境界指定の問題に関して、SNAにおけるソーシャルメディアデータ品質の標準化された評価手法の欠如に対処すること。
• ネットワークレベルおよびノードレベルの指標に与えるデータ収集ツールの影響を評価する体系的な比較フレームワークを構築すること。
• 研究者がデータ整合性および分析の再現可能性を確保するために、ソーシャルメディア収集ツールの選定および評価に役立つ実務的ガイドラインを提供すること。
• 特に centrality およびクラスタリング指標において、ツール固有のデータ収集バイアスにより偏ったまたは不完全なネットワーク推論が生じるリスクを強調すること。

提案手法

• キーワードベースのクエリを同一に設定し、RAPID および Twarc という2つの異なるツールを用いて Twitter から2つの並列データセットを収集した。
• 相互作用（メンション、リプライ、リツイート）からソーシャルネットワークを構築し、情報共有および社会的関係をモデル化した。
• 各ネットワークに対して、標準的なSNA指標（次数、接近度、媒介性、固有ベクトル centrality）を適用し、ノードのランクを比較した。
• RAPID と Twarc のデータセット間における centrality ランキングの類似度を測定するために、統計的指標（KendallのτおよびSpearmanのρ）を用いた。
• 調整ランダ指数（ARI）を用いて、データセット間の最大連結成分の類似度をクラスタ分析により比較した。
• 時間窓（4時間 vs. 15時間）を想定した2段階のケーススタディを実施し、ネットワーク構造およびデータ完全性に及ぼす時間的要因およびツールの影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 データ収集ツールの違い（例：RAPID 対 Twarc）が、ソーシャルメディアデータから導出されたソーシャルネットワークの構造にどのように影響するか？
• RQ2 収集されたデータの差異（例：ツイート数、メンション頻度、ユニークユーザー数）が、ソーシャルネットワーク分析における centrality ランキングにどの程度影響を及ぼすか？
• RQ3 収集ツールのバイアスが、オンライン議論における影響力のある参加者の特定にどのように影響するか？
• RQ4 異なるデータ収集手法および時間窓において、ネットワーククラスタ（例：最大連結成分）はどの程度安定しているか？
• RQ5 データ収集のばらつきが、ソーシャルメディア研究の結果の再現可能性および妥当性にどのような意味を持つのか？

主な発見

• Twarc は RAPID よりも顕著に多くのツイート（第1部で11,480件のユニークツイート）を収集しており、ユニークアカウント数も34％多い。その結果、より大規模で複雑なネットワーク構造が得られた。
• 特に第1部において、Twarc が得たメンションネットワークには、エッジ数（エッジ数）が RAPID よりも顕著に多く、これがノードの centrality ランキングに直接的な影響を与えた。
• KendallのτおよびSpearmanのρ係数は、RAPID と Twarc 間で centrality ランキングの類似度が低く、収集手法への感受性が非常に高いことを示した。
• 媒介性および固有ベクトル centrality はツール間でより安定しており、これはグローバルなネットワーク構造がローカルなエッジの変動に対して、ローカル centrality 指標ほど影響を受けにくいことを示唆している。
• 第2部では、リプライおよびリツイートの最大クラスタが最も類似しており（ARI = 0.756 および 0.738）、15時間の収集期間がデータの一貫性を高めたと考えられる。
• メンションネットワークのクラスタは第1部においては類似度が低く（ARI = 0.320 および 0.350）、これは RAPID のキーワード拡張戦略により、ターゲット外のアカウントからの投稿が収集され、ノイズおよび構造的バイアスが導入されたためと推測される。