[論文レビュー] MobilityGPT: Enhanced Human Mobility Modeling with a GPT model

Ammar Haydari, Dongjie Chen+3 more|arXiv (Cornell University)|Feb 5, 2024

Human Mobility and Location-Based Analysis被引用数 4

ひとこと要約

MobilityGPT は、重力に配慮したサンプリング、道路接続行列（RCM）マスク、強化学習微調整（RLTF）を統合することで、軌跡の現実性を向上させる GPT ベースの生成モデルを提案する。平均して最先端手法より 9% 高い軌跡類似度スコアを達成し、出発地・目的地のパターン、移動距離、空間的分布において優れた忠実性を実現した。

ABSTRACT

Generative models have shown promising results in capturing human mobility characteristics and generating synthetic trajectories. However, it remains challenging to ensure that the generated geospatial mobility data is semantically realistic, including consistent location sequences, and reflects real-world characteristics, such as constraining on geospatial limits. We reformat human mobility modeling as an autoregressive generation task to address these issues, leveraging the Generative Pre-trained Transformer (GPT) architecture. To ensure its controllable generation to alleviate the above challenges, we propose a geospatially-aware generative model, MobilityGPT. We propose a gravity-based sampling method to train a transformer for semantic sequence similarity. Then, we constrained the training process via a road connectivity matrix that provides the connectivity of sequences in trajectory generation, thereby keeping generated trajectories in geospatial limits. Lastly, we proposed to construct a preference dataset for fine-tuning MobilityGPT via Reinforcement Learning from Trajectory Feedback (RLTF) mechanism, which minimizes the travel distance between training and the synthetically generated trajectories. Experiments on real-world datasets demonstrate MobilityGPT's superior performance over state-of-the-art methods in generating high-quality mobility trajectories that are closest to real data in terms of origin-destination similarity, trip length, travel radius, link, and gravity distributions. We release the source code and reference links to datasets at https://github.com/ammarhydr/MobilityGPT.

研究の動機と目的

• 既存のモデルが生成する合成人間移動軌跡に見られる意味的現実性の欠如と地理的整合性の不足に対処する。
• GAN、VAE、LSTM が持つ時間的・空間的依存関係および軌跡の連続性を維持するという限界を克服する。
• 現実的な場所の順序を保ち、道路網の制約に従う、制御可能な GPT ベースのフレームワークを構築する。
• 人間のフィードバックを一切必要とせず、軌跡フィードバックを用いた自動微調整により、高品質な合成軌跡生成を可能にする。
• 出発地・目的地ペア、移動距離、重力分布といった、主な移動指標において、合成軌跡と実際の軌跡との類似性を向上させる。

提案手法

• 自己注意メカニズムを備えた GPT バックボーンを用いて、人間移動のモデリングを自己回帰的シーケンス生成タスクに再定式化する。
• 事前学習段階で重力に配慮したサンプリングを導入し、生成された軌跡が実世界の出発地・目的地間相互作用パターンに一致するようにする。
• モデルのログティスに道路接続行列（RCM）マスクを適用し、物理的に接続された道路セグメントのみを予測可能にすることで、軌跡の連続性を保証する。
• 実際の軌跡と合成軌跡の移動距離差を最小化するための、軌跡フィードバックからの強化学習（RLTF）微調整手法を開発する。
• トレーニングおよび推論段階で、複数の移動指標における類似度を定量的に評価するために、ジェンセン・ショーンハイマー・ダイバージェンス（JSD）を用いる。
• 推論段階で温度スケーリングを活用し、多様性と品質のバランスを図り、高い温度設定で性能が向上することを示した。

実験結果

リサーチクエスチョン

• RQ1 GPT ベースのモデルは、意味的に現実的で空間的に整合性を持つ人間移動軌跡を生成できるか？
• RQ2 重力モデリングと道路接続制約を組み込むことで、合成軌跡の現実性はどの程度向上するか？
• RQ3 人間のフィードバックなしで、強化学習に基づく微調整が、教師ありまたは好み最適化手法と比較して、軌跡類似度をどの程度向上させるか？
• RQ4 重力モデル、RCM、RLTF の各要素が、MobilityGPT モデル全体の性能にどの程度寄与しているか？
• RQ5 推論段階での温度チューニングは、生成された移動シーケンスの多様性と品質を向上させるか？

主な発見

• MobilityGPT は、全指標においてベースラインモデルを平均 9% 上回る軌跡類似度スコアを達成し、特に出発地・目的地（OD）および移動距離類似度で最大の向上を示した。
• 完全な MobilityGPT モデルは、OD 類似度で JSD 0.114、移動距離で JSD 0.124 を達成し、アブレーション変種を著しく上回った。
• アブレーションスタディの結果、重力モデル、RCM、RLTF のいずれかを削除しても性能低下が顕著に観察され、特に RCM と重力モデルが OD 類似度に最も寄与した。
• RLTF 微調整は、教師あり微調整（SF）および直接的好み最適化（DPO）を上回り、OD で JSD 0.114、移動距離で JSD 0.124 を達成し、最小の JSD を実現した。
• 推論段階での高い温度設定が性能向上に寄与しており、制御されたランダムネスが生成軌跡の多様性と現実性を向上させることを示唆した。
• ポルトの生成軌跡の空間密度マップから、MobilityGPT が実世界の空間パターンを密接に再現しており、視覚的および統計的類似性において他のモデルを上回った。