[論文レビュー] Traj2User: exploiting embeddings for computing similarity of users mobile behavior

Andrea Esuli, Lucas May Petry+2 more|arXiv (Cornell University)|Jul 31, 2018

Human Mobility and Location-Based Analysis参考文献 8被引用数 4

ひとこと要約

Traj2User は、意味的豊富な軌跡から、Word2Vec にインspired された手法によりユーザーエンベッディングを生成する。ニューラルネットワークの学習により類似性を暗黙的に学習する。ユーザーサイズの類似度タスクにおいて、ベースライン手法よりも 14.7% の MRR の向上を達成し、明示的な類似度関数の設計なしに、多様な移動意味を効果的にモデル化していることを示している。

ABSTRACT

Semantic trajectories are high level representations of user movements where several aspects related to the movement context are represented as heterogeneous textual labels. With the objective of finding a meaningful similarity measure for semantically enriched trajectories, we propose Traj2User, a Word2Vec-inspired method for the generation of a vector representation of user movements as user embeddings. Traj2User uses simple representations of trajectories and delegates the definition of the similarity model to the learning process of the network. Preliminary results show that Traj2User is able to generate effective user embeddings.

研究の動機と目的

• 空間的・時間的・複数の意味的次元にわたる、意味的に豊富で多様なモビリティデータからユーザーサイズを計算する課題に対処すること。
• 移動モード、天候、活動など、多様な軌跡属性における類似度関数を手動で定義する必要を排除すること。
• 生の軌跡セグメントから複雑なユーザーモビリティパターンを捉える、統合的かつコンactなベクトル表現（ユーザーエンベッディング）を学習すること。
• 限定的な意味的ラベルを伴う実世界のモビリティデータにおいて、ニューラルエンベッディング学習がユーザーサイズ類似度を効果的にモデル化できるかどうかを評価すること。

提案手法

• Traj2User は、各軌跡セグメントを「文」とみなし、意味的ラベルを「単語」とみなして、Word2Vec にインspired されたスキップグラムアーキテクチャを用い、ユーザーエンベッディングを学習する。
• ネガティブサンプリングと確率的勾配降下法を用いてモデルを学習し、意味的および行動的類似性を符号化するベクトル表現を学習する。
• 各セグメントが複数の意味的属性（例：移動モード、天候、活動）でラベル付けされた、セグメント化された軌跡を処理し、各ユーザーデータに対してラベルの系列を形成する。
• ユーザーエンベッディングは、特定のユーザに関連付けられたすべてのセグメントの学習済みベクトル表現を統合することで生成される。
• 明示的な類似度関数や意味的次元の手動による重み付けは不要で、これらの要因はデータからエンドツーエンドで学習される。
• 実ユーザの移動記述を分割して作成した 1,000 ユーザー対のカスタム合成データセットを活用して、類似度の評価をシミュレートする。

実験結果

リサーチクエスチョン

• RQ1 意味的豊富な軌跡から、各属性の類似度関数を明示的に設計せずに、ニューラルエンベッディングモデルがユーザーサイズ類似度を効果的に学習できるか？
• RQ2 Sum、PPMI、SM、およびそれらの SVD 変種といった従来の手法と比較して、Traj2User はユーザーモビリティ類似度をどの程度うまく捉えられるか？
• RQ3 ラベルがスパarsely または非一様に分布している場合でも、モデルは類似したモビリティパターンを持つユーザーグループを検出できるか？
• RQ4 NLP で成功を収めた Softmax ベースのモデルが、このタスクではなぜあまりうまくいかないのか？
• RQ5 短いエンベッディング次元数では性能が滑らかに劣化するか？また、小規模データセットにおいて、フル長さのエンベッディングはモデルに利益をもたらすか？

主な発見

• Traj2User は、1,000 ペair のテストセットにおいて、2番目に優れた手法である Sum よりも 14.7% の相対的な MRR の向上を達成し、統計的有意性（p = 3.66×10⁻⁵）を示した。
• PPMI や SM に加え、それらの SVD 変種といった従来の NLP ベースの手法よりも優れた性能を示したが、言語モデルタスクで成功を収めたにもかかわらず、これらは性能が低かった。
• Softmax ベースの手法は最も成績が悪く、軌跡データに確率的解釈を強制することはこのタスクには不適切であることを示している。
• エンベッディングサイズを縮小（f=8）しても、Traj2User は依然として Sum より優れた性能を維持しており、滑らかな劣化を示し、データ圧縮の可能性を示している。
• 2,000 ユーザー（20 グループ、各 100 人）のシミュレーテッド集団において、同様のユーザのクラスタリングが、エンベッディングのコサイン類似度によって一貫して可視化された。
• TagMyDay データセットにおけるラベル頻度の分布（Zipf 的でない、対数的分布）が、標準的な NLP 手法の性能不良に寄与している可能性があるが、これはさらなる調査を要する。