[논문 리뷰] A Python Library for Exploratory Data Analysis and Knowledge Discovery on Twitter Data.

Mario Graff, Daniela Moctezuma외 2명|arXiv (Cornell University)|2020. 09. 03.

Public Relations and Crisis Communication참고 문헌 10인용 수 1

한 줄 요약

이 논문은 2015년 12월 이래 아랍어, 영어, 스판어어, 러시아어로 된 트위터 데이터에서 다국어 트윗 빈도(단어, 바이그램)를 일별로 효율적으로 추출하고 분석할 수 있도록 돕는 파이썬 라이브러리를 소개한다. 또한 245개 이상의 국가 또는 지역을 대상으로 이동성 추적 기능을 제공하여 재난, 건강 문제, 이동 패턴과 같은 이벤트 탐지에 기여한다.

ABSTRACT

Twitter is perhaps the social media more amenable for research. It requires only a few steps to obtain information, and there are plenty of libraries that can help in this regard. Nonetheless, knowing whether a particular event is expressed on Twitter is a challenging task that requires a considerable collection of tweets. This proposal aims to facilitate, a researcher interested in Twitter data, the process of mining events on Twitter. The events could be related to natural disasters, health issues, people's mobility, among other studies that can be pursued with the library proposed. Different applications are presented in this contribution to illustrate the library's capabilities, starting from an exploratory analysis of the topics discovered in tweets, following it by studying the similarity among dialects of the Spanish language, and complementing it with a mobility report on different countries. In summary, the Python library presented retrieves a plethora of information processed from Twitter (since December 2015) in terms of words, bigrams of words, and their frequencies by day for Arabic, English, Spanish, and Russian languages. Finally, the mobility information considered is related to the number of travels among locations for more than 245 countries or territories.

연구 동기 및 목표

• 연구자가 이벤트 탐지 및 지식 발견을 위해 트위터 데이터에 접근할 수 있도록 간소화된 데이터 검색 및 분석 워크플로우를 제공함으로써 연구 접근성을 향상시키기.
• 자연재해나 건강 위기와 같은 이벤트를 식별하는 데 어려움을 해결하기 위해 대규모이고 체계적인 트윗 수집 및 분석을 가능하게 하기.
• 아랍어, 영어, 스판어어, 러시아어로 된 트윗 데이터를 처리하고 일별 빈도 추적을 통해 다국어 분석을 지원하기.
• 지리적으로 태깅된 트윗을 활용하여 245개 이상의 국가 또는 지역 간 이동 패턴을 수량화함으로써 이동성 연구를 가능하게 하기.
• 다양한 연구 응용 분야에 적합한 재사용 가능하고 애플리케이션 준비 완료된 도구를 제공하여 탐색적 데이터 분석, 방언 비교, 이벤트 모니터링을 지원하기.

제안 방법

• 라이브러리는 2015년 12월 이후 아랍어, 영어, 스판어어, 러시아어 등 네 가지 주요 언어에서 단어 및 바이그램 빈도를 중심으로 트위터 데이터를 검색한다.
• 일별로 단어 및 바이그램 빈도를 집계하여 시간적 추세 분석이 가능하도록 처리한다.
• 트윗 내용의 주요 주제와 언어적 패턴을 식별함으로써 탐색적 데이터 분석을 지원한다.
• 스파니시 방언 간 비교를 위해 단어 사용 방식과 빈도 분포의 언어적 다양성을 분석한다.
• 지리적으로 태깅된 트윗을 활용하여 245개 이상의 국가 또는 지역 간 상호 이동 패턴을 추정하는 이동성 분석을 수행한다.
• 사용자 편의를 위해 데이터 처리, 빈도 계산, 시각화 기능을 하나의 파이썬 패키지로 통합하여 연구 워크플로우에 쉽게 통합할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 연구자가 시간에 따라 다국어 트윗 빈도를 효율적으로 추출하고 분석하여 부상하는 이벤트를 탐지할 수 있는 방법은 무엇인가?
• RQ2 스파니시 방언 간 언어적 차이를 트위터 데이터의 빈도 기반 분석을 통해 얼마나 정량화하고 시각화할 수 있는가?
• RQ3 지리적으로 태깅된 트윗 데이터는 어떻게 활용하여 글로벌 지역 간 이동 보고서를 생성할 수 있는가?
• RQ4 대규모 트위터 데이터를 탐색적 분석 및 이벤트 탐지에 효과적으로 조직하고 검색하기 위한 가장 효과적인 방법은 무엇인가?
• RQ5 통합된 파이썬 라이브러리는 다양한 연구 응용 분야를 위한 트위터 데이터 마이닝의 종단 간 프로세스를 단순화할 수 있는가?

주요 결과

• 라이브러리는 2015년 12월 이래 네 가지 주요 언어에서 트윗 데이터를 일별 빈도 해상도로 검색하고 분석할 수 있도록 성공적으로 지원하였다.
• 트윗 주제에 대한 탐색적 분석을 통해 아랍어, 영어, 스판어어, 러시아어 트윗 스트림 간 고유한 언어적 및 주제적 패턴을 확인할 수 있었다.
• 단어 사용 방식과 빈도 분포의 차이를 통해 스판어스 방언 간 고유한 언어적 특성의 식별이 가능했다.
• 지리적으로 태깅된 트윗을 분석하여 245개 이상의 국가 또는 지역 간 이동 패턴에 대한 통찰을 제공하는 이동성 보고서를 생성하였다.
• 라이브러리는 이벤트 탐지 및 언어 변형 연구와 같은 다양한 연구 응용 분야에서 실용적인 유용성을 입증하였다.
• 단일 파이썬 라이브러리에 다국어, 시간적, 지리공간 데이터 처리 기능을 통합함으로써 트위터 데이터 분석 워크플로우의 복잡성이 크게 감소하였다.