[論文レビュー] Mining online social networks with Python to study urban mobility

Antònia Tugores, Pere Colet|arXiv (Cornell University)|Apr 25, 2014

Human Mobility and Location-Based Analysis被引用数 4

ひとこと要約

本稿では、Tweepy API および MongoDB NoSQL データベースを用いて、都市移動行動のパターンを研究するためのスケーラブルな Python ベースのパイプラインを提示する。8.5億件を超えるツイートを効率的に格納・照会することで、70% の地理的照会において10秒未塔の応答時間を達成し、バルセロナやロンドンのような都市における人間の移動行動の分析を可能にする。

ABSTRACT

On-line social networks have grown quickly over the last few years and nowadays many people use them frequently. Furthermore the emergence of smartphones allows to access these networks any time from any physical location. Among the social networks, Twitter offers a particularly large set of data publicly available. Here we discuss the procedure to mine this data and store it in distributed databases using Python scripts. We also illustrate how geolocated tweets can be used to study the mobility of people in urban areas.

研究の動機と目的

• 都市移動研究のための大規模な地理的位置情報付きソーシャルメディア データの取得および格納を効率的かつスケーラブルに実現する手法の開発。
• 高速度・大容量のツイート データ ストリーム処理において、SQL データベースと NoSQL データベースの性能を比較すること。
• 分散型で位置情報が付与されたツイート データに対する空間照会を用いて、人間の移動行動パターンのリアルタイム分析を可能にすること。
• 長期間にわたるツイッター データのサンプリングが、実際の都市人口および交通網のダイナミクスを的確に反映しているかどうかの検証。
• 社会的ネットワーク データを土地利用および交通システムと統合することで、今後の都市計画および移動行動モデリングを支援すること。

提案手法

• 対象都市のユーザーの位置情報を基に、Twitter API にアクセスし、ツイートを収集するための Python スクリプトと Tweepy ライブラリを活用する。
• 水平スケーリングと高い書き込みスループットを可能にするため、JSON 形式でツイートを格納する分散型でスキーマフリーな NoSQL データベースとして MongoDB を採用する。
• 初期バージョンの MongoDB における制限を考慮しながらも、緯度および経度フィールドに 2D 地理的インデックスを適用し、効率的な近接照会を実現する。
• メトロポリタン地域全体に1マイル間隔のグリッド上の点に対して geoNear 照会を実行し、場所別のツイート密度を抽出する。
• 高いデータ量下でも挿入および照会のパフォーマンスを向上させるために、3つのシャーディング（レプリカセット）にわたるデータパーティショニングを実施する。
• 読み取りと書き込みの処理を分離するため、クエリルーティングをセカンドリーノードに実装し、活発な照会中でも高い挿入パフォーマンスを維持する。

実験結果

リサーチクエスチョン

• RQ1 地理的位置情報付きツイッター データは、大規模に効率的に取得・格納可能であり、都市移動行動分析を支援できるか？
• RQ2 高容量のツイートインジェストおよび照会処理において、分散型 NoSQL データベース（MongoDB）と従来の SQL データベース（MySQL）の性能はどのように比較されるか？
• RQ3 長期間にわたるツイッター データのサンプルは、実際の都市人口分布および交通網のパターンをどの程度正確に反映しているか？
• RQ4 大規模かつ分散型のツイート データベースにおける空間照会の応答時間パフォーマンスはどの程度か？
• RQ5 ソーシャルメディア データは、ヨーロッパの都市において、共同移動行動および都市土地利用パターンを信頼性高くモデル化するために使用可能か？

主な発見

• MongoDB は、MySQL よりも 2 倍の高速化を達成し、8.5億ドキュメントにまでデータベースが拡大しても挿入時間は安定した。
• 1マイル半径の geoNear 照会の中央値応答時間は 3 秒であり、70% の照会が 9 秒未塔で完了した。
• 一時的なピークが 30 秒を超える場合もあったが、高負荷下でもリアルタイムの移動行動分析に耐えうる性能を維持した。
• 10か月間のツイッター データは、バルセロナおよびロンドンの実際の人口分布および交通網と強く一致した。
• 緯度および経度への 2D 地理的インデックスの適用により、効率的な空間照会が可能になったが、MongoDB 2.4 におけるデータの疎らさの制約により 2dsphere インデックスは使用できなかった。
• 読み取り処理をセカンドリーノードにオフロードすることで、継続的なデータインジェストと照会が可能になり、高い書き込みパフォーマンスが持続した。