[論文レビュー] Twitter User Geolocation using Deep Multiview Learning

Tien Huu, Duc Minh Nguyen+3 more|arXiv (Cornell University)|May 11, 2018

Human Mobility and Location-Based Analysis参考文献 25被引用数 7

ひとこと要約

本稿では、テキスト、ネットワーク、メタデータ特徴を統合する深層マルチビュー畳み込みニューラルネットワークであるMENETを提案する。GeoTextおよびUTGeo2011データセットにおいて、州レベルで64.8%の正確性を達成し、最先端の性能を発揮した。

ABSTRACT

Predicting the geographical location of users on social networks like Twitter is an active research topic with plenty of methods proposed so far. Most of the existing work follows either a content-based or a network-based approach. The former is based on user-generated content while the latter exploits the structure of the network of users. In this paper, we propose a more generic approach, which incorporates not only both content-based and network-based features, but also other available information into a unified model. Our approach, named Multi-Entry Neural Network (MENET), leverages the latest advances in deep learning and multiview learning. A realization of MENET with textual, network and metadata features results in an effective method for Twitter user geolocation, achieving the state of the art on two well-known datasets.

研究の動機と目的

• 限られたラベル付き地理タグ付きデータとノイズの多いユーザコンテンツを前提とした、Twitterユーザの位置特定の課題に取り組む。
• コンテンツのみ、またはネットワークのみのアプローチの限界を克服するため、複数のデータソースを統合する。
• 多様な特徴タイプを統合可能な汎用的かつ拡張可能な深層学習フレームワークを構築し、位置特定の正確性を向上させる。
• 標準ベンチマークにおいて、地域分類、州レベル分類、座標ベースの位置特定タスクで最先端の性能を達成する。

提案手法

• TF-IDFテキスト特徴、ツイートの意味的表現を表すdoc2vec埋め込み、ソーシャルネットワークのトポロジーを表すnode2vec埋め込み、タイムスタンプに基づくメタデータの4つの異なる特徴ビューを処理するマルチエントリニューラルネットワークアーキテクチャであるMENETを提案する。
• 各特徴ビューから独立して階層的表現を学習するための深層ニューラルネットワークを用い、その後、共有分類ヘッドで統合する。
• TF-IDF特徴の特徴工学的処理（GeoTextでは最小頻度40、UTGeo2011では500）、300次元のnode2vecおよびdoc2vec埋め込みを適用する。
• 出力層にL2正則化（λ = 0.1）を適用し、ADAM最適化法（学習率0.0001）を用いてモデルを訓練する。
• マルチビュー特徴の統合により、コンテンツ、ユーザ相互作用、時間的パターンからの補完的信号をモデルが捉えることができる。
• 距離誤差の計算にハーヴェイゼンの公式を用い、平均/中央値距離誤差、accuracy@161kmなどの指標を報告する。

実験結果

リサーチクエスチョン

• RQ1 統合された深層学習モデルは、テキスト、ネットワーク、メタデータ特徴を効果的に統合して、Twitterユーザの位置特定の正確性を向上させることができるか？
• RQ2 コンテンツ、ソーシャルグラフ、タイムスタンプの複数の特徴ビューを統合したアプローチは、単一モodalなアプローチと比較して、位置特定予測においてどのように優れているか？
• RQ3 深層ニューラルネットワークを用いたマルチビュー学習は、標準ベンチマークにおいて、既存の最先端手法をどの程度上回るか？
• RQ4 モデルの性能は、地域分類、州レベル分類、座標回帰という異なる位置特定タスクにおいてどのように変動するか？
• RQ5 行政境界を用いるのではなく、データ駆動型の地図パーティショニングを用いることで、モデルの汎化性能と誤差指標にどのような影響が生じるか？

主な発見

• GeoTextデータセットにおいて、MENETは米国州レベルで64.8%の正確性を達成し、先行研究[4]の41%から23.8ポイントの向上を達成した。
• 地域分類タスクにおいて、MENETは[4]の最先端手法と比較して9%の正確性向上を達成し、GeoTextデータセットで59.1%の正確性を記録した。
• 地理座標予測タスクにおいて、MENETはGeoTextで平均距離誤差474 km、中央値誤差157 kmを達成し、平均誤差では[8]を上回り、accuracy@161kmでは同等の性能を示した。
• UTGeo2011データセットでは、MENETが比較対象手法の中で最小の平均距離誤差を記録したが、[24]および[8]は最適化された地図パーティショニングのおかげで他の指標で優れた結果を示した。
• モデルの性能は、データ駆動型クラスタリングではなく行政境界に依存しているため、適応的パーティショニングを導入することでさらなる改善が期待できる。
• アブレーションスタディの結果、テキスト、意味的表現、ネットワーク、時間的特徴の4つの特徴タイプを統合した場合に最も高い性能が得られ、マルチビュー学習アプローチの有効性が裏付けられた。