[論文レビュー] Social Media Text Processing and Semantic Analysis for Smart Cities

João Filipe Figueiredo Pereira|arXiv (Cornell University)|Jul 14, 2017

Smart Cities and Technologies参考文献 1被引用数 7

ひとこと要約

本学位論文は、スマートシティおよびインテリジェント輸送システムのための実用的インサイトを抽出するために、地理的位置情報を付与されたツイートの収集・処理・分析をスケーラブルなフレームワークとして提案する。並列的なツイート収集、多言語対応のテキスト前処理、トピックモデリング、Gold-standardデータで訓練されたハイブリッドbag-of-words/bag-of-embeddings分類器を統合し、ポルトガル語および英語の両言語で移動関連コンテンツを識別する上で高い性能を達成した。5か国の都市で4300万件を超えるツイートを分析した結果、都市間の違いにもかかわらず高いトピックの重複が確認された。

ABSTRACT

With the rise of Social Media, people obtain and share information almost instantly on a 24/7 basis. Many research areas have tried to gain valuable insights from these large volumes of freely available user generated content. With the goal of extracting knowledge from social media streams that might be useful in the context of intelligent transportation systems and smart cities, we designed and developed a framework that provides functionalities for parallel collection of geo-located tweets from multiple pre-defined bounding boxes (cities or regions), including filtering of non-complying tweets, text pre-processing for Portuguese and English language, topic modeling, and transportation-specific text classifiers, as well as, aggregation and data visualization. We performed an exploratory data analysis of geo-located tweets in 5 different cities: Rio de Janeiro, São Paulo, New York City, London and Melbourne, comprising a total of more than 43 million tweets in a period of 3 months. Furthermore, we performed a large scale topic modelling comparison between Rio de Janeiro and São Paulo. Interestingly, most of the topics are shared between both cities which despite being in the same country are considered very different regarding population, economy and lifestyle. We take advantage of recent developments in word embeddings and train such representations from the collections of geo-located tweets. We then use a combination of bag-of-embeddings and traditional bag-of-words to train travel-related classifiers in both Portuguese and English to filter travel-related content from non-related. We created specific gold-standard data to perform empirical evaluation of the resulting classifiers. Results are in line with research work in other application areas by showing the robustness of using word embeddings to learn word similarities that bag-of-words is not able to capture.

研究の動機と目的

• 都市インテリジェンス応用のための短い、非公式な、多言語のソーシャルメディアテキストを処理する課題に対処すること。
• 複数の都市から収集可能なスケーラブルで並列処理可能な地理的位置情報を付与されたツイート収集フレームワークを設計すること。
• ポルトガル語および英語のソーシャルメディアコンテンツ向けに多言語対応のテキスト処理パイプラインを開発すること。
• ハイブリッドbag-of-wordsとワード埋め込みを組み合わせた分類器を構築し、旅行関連のテキストを評価すること。
• リオデジャネイロおよびサンパウロの地理的位置情報を付与されたツイートに対して大規模なトピックモデリングと意味的分析を実施すること。

提案手法

• リオデジャネイロ、サンパウロ、ニューヨークシティ、ロンドン、メルボルンの5都市から、境界ボックスを用いた並列的ツイート収集システムを実装し、地理的位置情報を付与されたツイートを収集した。
• ポルトガル語および英語に特化したテキスト前処理を実施し、準拠しないまたは関係のないツイートをフィルタリングした。
• 4300万件を超える地理的位置情報を付与されたツイートを対象にLDAを用いた大規模なトピックモデリングを実施し、共通のテーマと都市固有のテーマを同定した。
• ツイートコーパスから学習されたワード埋め込みと従来のbag-of-wordsを組み合わせたハイブリッド分類器を訓練した。
• Gold-standardアノテーション付きデータセットを用いて、分類器の性能をポルトガル語および英語の両言語で実証的に評価した。
• データ集約および可視化コンponentsを統合し、探索的分析および都市インサイトの支援を可能にした。

実験結果

リサーチクエスチョン

• RQ1 リオデジャネイロとサンパウロの地理的位置情報を付与されたツイートにおけるトピック分布は、人口構成や都市の特性に顕著な違いがあるにもかかわらず、どの程度重複しているか？
• RQ2 非公式で多言語のソーシャルメディアテキストにおける旅行関連コンテンツを分類する際、ハイブリッドbag-of-wordsとワード埋め込みモデルの有効性はいかがなものか？
• RQ3 従来のbag-of-wordsモデルが捉えられない場合でも、ワード埋め込みはソーシャルメディアテキストにおける意味的類似性を捉えることができるか？
• RQ4 多様なグローバル都市において、地理的位置情報を付与されたツイートに表れる支配的なテーマとユーザーの懸念事項は何か？
• RQ5 本研究で提案されたフレームワークは、スマートシティ応用における大規模かつリアルタイムのソーシャルメディアストリーム処理に対して、どの程度スケーラブルで頑健であるか？

主な発見

• 本フレームワークは、3か月間の期間で5都市にまたがる4300万件を超える地理的位置情報を付与されたツイートを効果的に収集・処理した。
• 人口、経済、ライフスタイルに顕著な違いがあるにもかかわらず、リオデジャネイロとサンパウロのソーシャルメディアコンテンツにおいて高いトピックの重複が確認された。
• ハイブリッドbag-of-wordsとワード埋め込みを組み合わせた分類器は、従来のbag-of-wordsモデルを上回る性能を示し、意味的表現の価値を実証した。
• ワード埋め込みは、スラングや省略語などの非公式な言語表現における意味的類似性を効果的に捉えており、bag-of-wordsモデルでは捉えきれない側面を補完した。
• 本研究は、現在までにブラジルで実施された最大規模の地理的位置情報を付与されたツイートのコンテンツ分析を実現し、ソーシャルメディアを通じた都市ダイナミクスに関する新たな知見を提供した。
• 本研究で開発されたソースコードおよびデータセットは、今後のスマートシティおよびインテリジェント輸送システム分野の研究を支援するため、公開された。