[論文レビュー] End-to-end Network for Twitter Geolocation Prediction and Hashing

Jey Han Lau, Lianhua Chi+2 more|arXiv (Cornell University)|Oct 13, 2017

Advanced Image and Video Retrieval Techniques参考文献 19被引用数 9

ひとこと要約

本稿では、最小限の特徴工学と言語に依存しない、ツイートレベルの地理的場所特定のためのエンド・ツー・エンドの深層ニューラルネットワークを提案する。このモデルは、最先端のモデルと比較して2–6%高い精度を達成し、学習された表現をコンパクトなバイナリコードに圧縮する、新しいエンド・ツー・エンドハッシュ化手法を導入している。この手法は、リtrieバルタスクにおいてベンチマーク手法を上回る性能を発揮する。

ABSTRACT

We propose an end-to-end neural network to predict the geolocation of a tweet. The network takes as input a number of raw Twitter metadata such as the tweet message and associated user account information. Our model is language independent, and despite minimal feature engineering, it is interpretable and capable of learning location indicative words and timing patterns. Compared to state-of-the-art systems, our model outperforms them by 2%-6%. Additionally, we propose extensions to the model to compress representation learnt by the network into binary codes. Experiments show that it produces compact codes compared to benchmark hashing algorithms. An implementation of the model is released publicly.

研究の動機と目的

• 最小限の特徴工学と言語に依存しない、ツイートレベルの地理的場所特定のためのエンド・ツー・エンドのニューラルネットワークの開発。
• 地名辞書や言語固有のツールを用いず、生のツイートメタデータを活用することで、最先端の地理的場所特定システムを上回ること。
• 学習された表現をコンパクトなバイナリコードに圧縮するため、モデルを拡張すること。
• ハミング距離を用いた高速リtrieバルタスクにおいて、バイナリコードの有効性を評価すること。
• 外部のハッシュ化アルゴリズムにモデルが学習した表現を入力として与えた場合、標準的な word2vec 埋め込みよりもリtrieバル性能が向上するかを示すこと。

提案手法

• モデルは、メッセージ本文、ユーザーのタイムゾーン、ユーザーの場所といった生のツイートメタデータを入力とし、言語固有の前処理を一切行わない深層ニューラルネットワークを採用する。
• 全結合層と残差接続を備えた多層構造を採用し、最終層では実数値の表現ベクトルを出力する。
• エンド・ツー・エンドハッシュ化を可能にするために、最終表現にガウスノイズを追加し、正則化損失項を導入することで、最終表現を ±1 に押し上げ、符号関数によるバイナリ化を可能にする。
• 正則化損失項は、表現ベクトル内の非極端な値をペナルティ化し、顕著な精度低下を伴わずにバイナリ出力を促進する。
• 分類タスクのための交差エントロピー損失を用いてモデルを訓練し、バイナリ化を強化するためにノイズと損失を微調整する。
• 最終表現に対して符号関数を適用してバイナリコードを生成し、ハミング距離に基づく平均平均精度（MAP）を用いてリtrieバル性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 最小限の特徴工学で、最先端のシステムと比較して優れたツイートレベルの地理的場所特定精度を達成できるエンド・ツー・エンドの深層学習モデルは構築可能か？
• RQ2 言語固有のツールを用いず、地域語や時間的行動パターンのような解釈可能な場所を示すパターンをモデルが学習できるか？
• RQ3 エンド・ツー・エンドで微分可能であるアプローチを用いて、学習された表現を効果的にコンパクトなバイナリコードに圧縮できるか？
• RQ4 提案手法のハッシュ化手法は、LSH や FastHash といった既存の手法と比較して、どのように性能を発揮するか？
• RQ5 外部のハッシュ化アルゴリズムにモデルの表現を入力とすることで、標準的な word2vec 埋め込みよりもリtrieバル性能が向上するか？

主な発見

• 地名辞書や言語固有の前処理を一切用いず、最先端のシステムと比較して2–6%高い精度を達成した。
• アテンションと活性化解析の結果、地域語や地域的活動パターンといった解釈可能な場所を示すパターンが、言語固有のツールなしにモデルが学習していることが示された。
• ガウスノイズと正則化損失項の追加により、表現ベクトルのバイナリ化が向上し、顕著な精度低下を伴わずに ±1 に近づくようになる。
• 200–400ビットのコードにおいて、FastHash と deepgeo 表現の組み合わせは、ノイズのみを用いた deepgeo よりも2–4%高い MAP を達成しており、優れたリtrieバル性能を示している。
• deepgeo 表現は word2vec 埋め込みよりもコンパクトで効果的である。100ビットのコードですら、FastHash と deepgeo を組み合わせた場合、大規模なビットサイズにおいて word2vec を上回る性能を発揮する。
• モデルの表現は効果的なハッシュ化を可能にしている。LSH に deepgeo 表現を入力とすると、word2vec 入力よりも顕著に優れた性能を発揮し、特にビットサイズが小さい場合に顕著である。