[論文レビュー] A Python Library for Exploratory Data Analysis and Knowledge Discovery on Twitter Data.

Mario Graff, Daniela Moctezuma+2 more|arXiv (Cornell University)|Sep 3, 2020

Public Relations and Crisis Communication参考文献 10被引用数 1

ひとこと要約

本論文では、2015年12月以降、アラビア語、英語、スペイン語、ロシア語の4言語で、1日単位の頻度（語、ビグレーム）を対象とした、Twitterデータからの探索的データ分析および知識発見を簡素化するPythonライブラリを紹介する。さらに、245か国以上をカバーする移動行動の追跡も可能であり、自然災害、健康問題、移動パターンの分析に役立つイベントマイニングを支援する。

ABSTRACT

Twitter is perhaps the social media more amenable for research. It requires only a few steps to obtain information, and there are plenty of libraries that can help in this regard. Nonetheless, knowing whether a particular event is expressed on Twitter is a challenging task that requires a considerable collection of tweets. This proposal aims to facilitate, a researcher interested in Twitter data, the process of mining events on Twitter. The events could be related to natural disasters, health issues, people's mobility, among other studies that can be pursued with the library proposed. Different applications are presented in this contribution to illustrate the library's capabilities, starting from an exploratory analysis of the topics discovered in tweets, following it by studying the similarity among dialects of the Spanish language, and complementing it with a mobility report on different countries. In summary, the Python library presented retrieves a plethora of information processed from Twitter (since December 2015) in terms of words, bigrams of words, and their frequencies by day for Arabic, English, Spanish, and Russian languages. Finally, the mobility information considered is related to the number of travels among locations for more than 245 countries or territories.

研究の動機と目的

• 研究者がイベント検出および知識発見のためのTwitterデータにアクセスしやすくするために、スムーズなデータ取得および分析パイプラインを提供すること。
• 自然災害や健康危機などのイベントを同定する課題に対処し、大規模かつ体系的なツイート収集と分析を可能にすること。
• アラビア語、英語、スペイン語、ロシア語の4言語で処理・整理されたツイートデータを提供し、1日単位の頻度追跡を実施することで、多言語分析を支援すること。
• 地理タグ付きツイートを用いて、245か国以上をカバーする地域間の移動パターンを定量的に分析することで、移動行動の研究を可能にすること。
• 再利用可能でアプリケーション向けに準備されたツールを提供し、探索的データ分析、方言比較、Twitterデータのイベント監視を支援すること。

提案手法

• ライブラリは2015年12月以降のTwitterデータを取得し、アラビア語、英語、スペイン語、ロシア語の4言語で語およびビグレームの頻度に焦点を当てる。
• ツイートは毎日単位で語およびビグレームの頻度を集計し、時間的傾向の分析を可能にする。
• トピックや言語的パターンの特定を通じて、探索的データ分析を支援する。
• 語の使用法や頻度分布の差異を分析することで、スペイン語の方言間の比較を可能にする。
• 地理タグ付きツイートを用いて、245か国以上をカバーする地域間の移動パターンを推定する。
• データ処理、頻度計算、可視化の各コンponentを1つのPythonパッケージに統合し、研究ワークフローにおける使いやすさを実現する。

実験結果

リサーチクエスチョン

• RQ1 研究者が時間経過に伴う多言語のツイート頻度をどのように効率的に抽出・分析し、発生中のイベントを検出できるか？
• RQ2 スペイン語の方言間の言語的差異は、Twitterデータの頻度ベース分析によってどの程度定量的・可視化的に表現できるか？
• RQ3 地理タグ付きツイートデータを活用して、グローバルな地域間で移動行動レポートをどのように生成できるか？
• RQ4 大規模なTwitterデータを効果的に整理・取得するための最適な方法は何か？これは探索的分析およびイベント検出に役立つ。
• RQ5 統合されたPythonライブラリは、多様な研究用途に向けたTwitterデータマイニングのエンドツーエンドプロセスをどのように簡素化できるか？

主な発見

• ライブラリは2015年12月以降、4つの主要言語で1日単位の解像度でツイートデータを取得・分析可能であることを実証した。
• ツイートトピックの探索的分析から、アラビア語、英語、スペイン語、ロシア語のツイートストリーム間で明確な言語的・主題的パターンの差異が明らかになった。
• 語の使用法や頻度分布の差異を分析することで、スペイン語の方言間で特徴的な言語的特性を同定できた。
• 地理タグ付きツイートの分析を通じて、245か国以上をカバーする地域間の移動パターンに関するインサイトを含む移動レポートを生成した。
• ライブラリは、イベント検出や言語の変異研究など、多様な研究用途において実用的であることが示された。
• 多言語、時間的、地理空間的データ処理を1つのPythonライブラリに統合することで、Twitterデータ分析ワークフローの複雑さが顕著に低減された。