[논문 리뷰] Social Media Text Processing and Semantic Analysis for Smart Cities

João Filipe Figueiredo Pereira|arXiv (Cornell University)|2017. 07. 14.

Smart Cities and Technologies참고 문헌 1인용 수 7

한 줄 요약

이 학위논문은 스마트 시티와 지능형 교통 시스템을 위한 실질적인 통찰을 도출하기 위해 지리적 위치 정보가 부여된 트윗을 수집, 처리 및 분석하는 확장 가능한 프레임워크를 제안한다. 병렬 트윗 수집, 다국어 텍스트 전처리, 토픽 모델링, 그리고 골드 표준 데이터에 기반한 하이브리드 백오프워즈/백오프임베딩 분류기의 조합을 통해 포르투갈어와 영어에서 여행 관련 콘텐츠를 식별하는 데 있어 뛰어난 성능을 달성하였으며, 세계 다섯 도시에서 4,300만 건 이상의 트윗을 분석한 결과 도시 간 차이가 있음에도 불구하고 높은 토픽 일치도를 보였다.

ABSTRACT

With the rise of Social Media, people obtain and share information almost instantly on a 24/7 basis. Many research areas have tried to gain valuable insights from these large volumes of freely available user generated content. With the goal of extracting knowledge from social media streams that might be useful in the context of intelligent transportation systems and smart cities, we designed and developed a framework that provides functionalities for parallel collection of geo-located tweets from multiple pre-defined bounding boxes (cities or regions), including filtering of non-complying tweets, text pre-processing for Portuguese and English language, topic modeling, and transportation-specific text classifiers, as well as, aggregation and data visualization. We performed an exploratory data analysis of geo-located tweets in 5 different cities: Rio de Janeiro, São Paulo, New York City, London and Melbourne, comprising a total of more than 43 million tweets in a period of 3 months. Furthermore, we performed a large scale topic modelling comparison between Rio de Janeiro and São Paulo. Interestingly, most of the topics are shared between both cities which despite being in the same country are considered very different regarding population, economy and lifestyle. We take advantage of recent developments in word embeddings and train such representations from the collections of geo-located tweets. We then use a combination of bag-of-embeddings and traditional bag-of-words to train travel-related classifiers in both Portuguese and English to filter travel-related content from non-related. We created specific gold-standard data to perform empirical evaluation of the resulting classifiers. Results are in line with research work in other application areas by showing the robustness of using word embeddings to learn word similarities that bag-of-words is not able to capture.

연구 동기 및 목표

• 도시 지능 응용 프로그램을 위한 짧고 비공식적이며 다국어로 된 소셜 미디어 텍스트를 처리하는 데 도전 과제를 해결하기 위해.
• 여러 도시에서 지리적 위치 정보가 부여된 트윗을 수집하기 위한 확장 가능하고 병렬적인 프레임워크를 설계하기 위해.
• 포르투갈어와 영어 소셜 미디어 콘텐츠를 위한 다국어 텍스트 전처리 파이프라인을 개발하기 위해.
• 하이브리드 백오프워즈 및 워드 임베딩을 활용해 여행 관련 텍스트 분류기를 구축하고 평가하기 위해.
• 리우 데 자네이루와 상우 파울루, 브라질의 지리적 위치 정보가 부여된 트윗에 대해 대규모 토픽 모델링 및 의미 분석을 수행하기 위해.

제안 방법

• 리우 데 자네이루, 상우 파울루, 뉴욕 시티, 런던, 멜버른 등 다섯 도시에서 경계 상자(bounding boxes)를 사용해 병렬 트윗 수집 시스템을 구현하여 지리적 위치 정보가 부여된 트윗을 수집하였다.
• 포르투갈어와 영어에 특화된 텍스트 전처리를 적용하여 비준수 및 관련이 없는 트윗을 걸러내었다.
• 4,300만 건 이상의 지리적 위치 정보가 부여된 트윗을 대상으로 LDA를 사용해 대규모 토픽 모델링을 수행하여 공통 및 도시별 주제를 식별하였다.
• 트윗 코퍼스에서 학습된 전통적인 백오프워즈와 워드 임베딩을 조합한 하이브리드 여행 관련 텍스트 분류기를 훈련시켰다.
• 골드 표준 주석 데이터셋을 활용해 분류기 성능을 실증적으로 평가하였으며, 포르투갈어 및 영어 모두에서 수행되었다.
• 데이터 집계 및 시각화 구성 요소를 통합하여 탐색적 분석 및 도시 통찰을 지원하였다.

실험 결과

연구 질문

• RQ1 리우 데 자네이루와 상우 파울루의 지리적 위치 정보가 부여된 트윗에서 토픽 분포가 그들의 상이한 인구 구성과 도시 프로필에도 불구하고 얼마나 겹치는가?
• RQ2 비공식적이며 다국어로 된 소셜 미디어 텍스트에서 여행 관련 콘텐츠를 분류하는 데 하이브리드 백오프워즈 및 워드 임베딩 모델은 얼마나 효과적인가?
• RQ3 워드 임베딩은 전통적인 백오프워즈 모델이 감지하지 못하는 의미적 유사성을 소셜 미디어 텍스트에서 효과적으로 포착할 수 있는가?
• RQ4 다양한 글로벌 도시에서 지리적 위치 정보가 부여된 트윗에 표현된 주요 주제와 사용자 우려 사항은 무엇인가?
• RQ5 제안된 프레임워크는 스마트 시티 응용 프로그램에서 대규모 실시간 소셜 미디어 스트림 처리에 대해 얼마나 확장 가능하고 견고한가?

주요 결과

• 프레임워크는 3개월 이내에 다섯 도시에서 4,300만 건 이상의 지리적 위치 정보가 부여된 트윗을 성공적으로 수집 및 처리하였다.
• 인구, 경제, 생활 방식에 있어 상당한 차이가 있음에도 불구하고, 리우 데 자네이루와 상우 파울루는 소셜 미디어 콘텐츠에서 높은 수준의 토픽 일치도를 보였다.
• 하이브리드 백오프워즈 및 워드 임베딩 분류기는 전통적인 백오프워즈 모델보다 여행 관련 콘텐츠 식별에 뛰어난 성능을 보이며 의미 표현의 가치를 입증하였다.
• 워드 임베딩은 백오프워즈 모델이 감지하지 못하는 비공식어, 속어, 약어 등에서 의미적 유사성을 효과적으로 포착하였다.
• 본 연구는 브라질에서 지리적 위치 정보가 부여된 트윗을 대규모로 분석한 최초의 사례로서, 소셜 미디어를 통한 도시 역학에 대한 새로운 통찰을 제공하였다.
• 개발된 소스 코드 및 데이터셋은 향후 스마트 시티 및 지능형 교통 시스템 분야의 연구를 지원하기 위해 공개되었다.