[论文解读] A Python Library for Exploratory Data Analysis and Knowledge Discovery on Twitter Data.

Mario Graff, Daniela Moctezuma+2 more|arXiv (Cornell University)|Sep 3, 2020

Public Relations and Crisis Communication参考文献 10被引用 1

一句话总结

本论文介绍了一款Python库，旨在简化自2015年12月以来对阿拉伯语、英语、西班牙语和俄语Twitter数据的探索性数据分析与知识发现，使研究人员能够高效提取并按日分析多语言推文频率（词汇、双词短语），并支持对245多个国家或地区范围内的移动性追踪，从而促进对灾难、健康问题及移动模式等事件的挖掘。

ABSTRACT

Twitter is perhaps the social media more amenable for research. It requires only a few steps to obtain information, and there are plenty of libraries that can help in this regard. Nonetheless, knowing whether a particular event is expressed on Twitter is a challenging task that requires a considerable collection of tweets. This proposal aims to facilitate, a researcher interested in Twitter data, the process of mining events on Twitter. The events could be related to natural disasters, health issues, people's mobility, among other studies that can be pursued with the library proposed. Different applications are presented in this contribution to illustrate the library's capabilities, starting from an exploratory analysis of the topics discovered in tweets, following it by studying the similarity among dialects of the Spanish language, and complementing it with a mobility report on different countries. In summary, the Python library presented retrieves a plethora of information processed from Twitter (since December 2015) in terms of words, bigrams of words, and their frequencies by day for Arabic, English, Spanish, and Russian languages. Finally, the mobility information considered is related to the number of travels among locations for more than 245 countries or territories.

研究动机与目标

• 通过提供一个简化的数据获取与分析流程，促进研究人员访问Twitter数据以实现事件检测与知识发现。
• 通过支持大规模、系统性的推文收集与分析，应对在Twitter上识别事件（如自然灾害或健康危机）的挑战。
• 通过按日跟踪频率，支持对阿拉伯语、英语、西班牙语和俄语的多语言分析，处理并组织推文数据。
• 通过分析来自245多个国家或地区的地理标签推文，量化跨区域旅行模式，支持移动性研究。
• 提供一个可重用、可直接应用的工具，支持对Twitter数据的探索性数据分析、方言比较及事件监控。

提出的方法

• 该库自2015年12月起获取Twitter数据，重点分析阿拉伯语、英语、西班牙语和俄语四种主要语言的词汇与双词短语频率。
• 通过按日聚合词汇与双词短语频率，实现时间趋势分析。
• 通过识别推文内容中的主导主题与语言模式，支持探索性数据分析。
• 通过分析词汇使用与频率分布的差异，实现对西班牙语方言的比较。
• 利用地理标签推文执行移动性分析，估算245多个国家或地区之间的跨区域移动模式。
• 将数据处理、频率计算与可视化组件整合为单一Python包，便于在研究工作流中使用。

实验结果

研究问题

• RQ1 研究人员如何能高效地随时间提取并分析多语言推文频率，以检测新兴事件？
• RQ2 能否通过基于频率的Twitter数据分析，量化并可视化西班牙语方言之间的语言差异？
• RQ3 如何利用地理标签推文数据生成全球区域间的移动性报告？
• RQ4 组织与检索大规模Twitter数据以支持探索性分析与事件检测的最有效方法是什么？
• RQ5 一个统一的Python库能否简化多样研究应用中Twitter数据挖掘的端到端流程？

主要发现

• 该库成功使研究人员能够自2015年12月以来，以每日频率分辨率，从四种主要语言中检索并分析推文数据。
• 对推文主题的探索性分析揭示了阿拉伯语、英语、西班牙语和俄语推文流中存在显著的语言与主题模式差异。
• 词汇使用与频率分布的差异使研究人员能够识别出西班牙语不同方言之间的独特语言特征。
• 通过分析地理标签推文，生成了移动性报告，为245多个国家或地区之间的跨区域移动模式提供了洞察。
• 该库在支持多样研究应用方面表现出实际效用，包括事件检测与语言差异研究。
• 将多语言、时间与地理空间数据处理整合到单一Python库中，显著降低了Twitter数据分析工作流的复杂性。