[論文レビュー] Multiview Deep Learning for Predicting Twitter Users' Location

Tien Huu, Duc Minh Nguyen+3 more|arXiv (Cornell University)|Dec 21, 2017

Human Mobility and Location-Based Analysis参考文献 47被引用数 32

ひとこと要約

本稿では、テキスト、ネットワーク、メタデータ特徴を統合する多視点ディープラーニングモデルMENETを提案し、Twitterユーザーの地理的場所を最先端の精度で予測する。地球をマルチスケールS2グリッドで分割し、マルチエントリニューラルネットワークアーキテクチャを活用することで、3つのベンチマークデータセットにおいて既存手法を上回り、k-meansおよびk-d treeベースラインと比較して平均誤差を30 km以上低減した。

ABSTRACT

The problem of predicting the location of users on large social networks like Twitter has emerged from real-life applications such as social unrest detection and online marketing. Twitter user geolocation is a difficult and active research topic with a vast literature. Most of the proposed methods follow either a content-based or a network-based approach. The former exploits user-generated content while the latter utilizes the connection or interaction between Twitter users. In this paper, we introduce a novel method combining the strength of both approaches. Concretely, we propose a multi-entry neural network architecture named MENET leveraging the advances in deep learning and multiview learning. The generalizability of MENET enables the integration of multiple data representations. In the context of Twitter user geolocation, we realize MENET with textual, network, and metadata features. Considering the natural distribution of Twitter users across the concerned geographical area, we subdivide the surface of the earth into multi-scale cells and train MENET with the labels of the cells. We show that our method outperforms the state of the art by a large margin on three benchmark datasets.

研究の動機と目的

• 希薄でノイズの多い地理タグ付きデータがある中で、Twitterユーザーの場所を正確に予測する課題に対処すること。
• コンテンツベースまたはネットワークベースの地理位置特定手法の限界を乗り越えるために、複数のデータビューを統合すること。
• テキスト的、構造的、時間的特徴といった多様なTwitter特徴を統合できる汎用的かつスケーラブルなディープラーニングフレームワークを構築すること。
• S2、k-means、k-d treeの異なる地理空間ラベル付け戦略がモデル性能に与える影響を評価すること。

提案手法

• MENETは、4つの異なる特徴ビューを処理するマルチエントリニューラルネットワークアーキテクチャを採用している：テキストコンテンツにはTF-IDFとdoc2vec、ユーザー相互作用ネットワークのトポロジーにはnode2vec、時間的パターンにはタイムスタンプ特徴を用いる。
• モデルは、地球表面を一様で階層的なセルに分割するマルチスケールS2ジオメトリライブラリを用い、ユーザーの位置に基づいて地理的クラスを割り当てる。
• 各特徴ビューは個別のニューラルサブネットワークを通じて別々に埋め込まれ、その後連結され、最終的な分類器ヘッドを経て場所予測が行われる。
• 正確な座標推定という回帰タスクは、S2セルの重心をクラスラベルとして用いることで、多クラス分類問題に再定式化される。
• モデルはクロスエントロピー損失を用いてエンドツーエンドで訓練され、ベンチマークデータセットにおける最適なパフォーマンスを得るためにハイパーパrameterが調整されている。
• このフレームワークは誘導的一般化をサポートしており、評価済みのもの以外の追加特徴タイプの統合にも拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 テキスト的、ネットワーク的、メタデータ的特徴といった複数のデータビューを統合することで、単一モodalなアプローチと比較して、Twitterユーザーの地理位置特定精度がどの程度向上するか？
• RQ2 S2、k-means、k-d treeといった異なる地理空間パーティショニング戦略が、ディープラーニングベースの地理位置特定モデルのパフォーマンスに与える影響は何か？
• RQ3 個々の特徴タイプ（例：TF-IDF、node2vec、doc2vec、タイムスタンプ）がMENETモデルの全体的なパフォーマンスにどの程度寄与しているか？
• RQ4 多視点ディープラーニングアプローチは、複数のベンチマークデータセットにおいて、既存の最先端手法を上回ることができるか？

主な発見

• S2ラベルを用いたGeoTextデータセットにおいて、MENETは平均距離誤差552 kmを達成し、k-means（538 km）およびk-d tree（573 km）のパーティショニング戦略を上回った。
• S2ベースのラベリングは、k-d treeと比較して平均誤差を30 km以上低減し、k-meansと比較して中央誤差を50%以上改善した。
• node2vec特徴を除去すると最大のパフォーマンス低下が生じ、平均誤差は894 kmに上昇し、@161の正確度は36.5%に低下した。これは、モデルパフォーマンスにおいてその特徴が極めて重要な役割を果たしていることを示している。
• S2ラベルを用いた場合、@161の正確度は62.1%に達し、k-means（61.0%）およびk-d tree（53.8%）のパーティショニング手法を上回った。
• TF-IDF、doc2vec、node2vec、タイムスタンプの4つの特徴タイプを統合することで最良のパフォーマンスが得られ、それぞれが最終的な正確度に意味のある寄与をしていた。
• S2パーティショニングは、k-meansおよびk-d treeと比較して、ラベル作成におけるより高い安定性と柔軟性を提供しており、スケーラブルかつ再現可能な地理位置特定モデリングに適している。