[論文レビュー] Real-world Ride-hailing Vehicle Repositioning using Deep Reinforcement Learning

Yan Jiao, Xiaocheng Tang+5 more|arXiv (Cornell University)|Mar 8, 2021

Transportation and Mobility Innovations参考文献 31被引用数 14

ひとこと要約

本稿では、現実世界のライドシェア配車車両の再配置に向けた深層強化学習フレームワークを提案する。このフレームワークは、バッチ学習により時空間的状態価値関数を学習し、必要に応じて最適な再配置行動を即時生成する。シミュレーションおよび実世界の現地テストにおいて、通常のドライバーと比較して、収益時給の面で優れた性能を示した。

ABSTRACT

We present a new practical framework based on deep reinforcement learning and decision-time planning for real-world vehicle repositioning on ride-hailing (a type of mobility-on-demand, MoD) platforms. Our approach learns the spatiotemporal state-value function using a batch training algorithm with deep value networks. The optimal repositioning action is generated on-demand through value-based policy search, which combines planning and bootstrapping with the value networks. For the large-fleet problems, we develop several algorithmic features that we incorporate into our framework and that we demonstrate to induce coordination among the algorithmically-guided vehicles. We benchmark our algorithm with baselines in a ride-hailing simulation environment to demonstrate its superiority in improving income efficiency meausred by income-per-hour. We have also designed and run a real-world experiment program with regular drivers on a major ride-hailing platform. We have observed significantly positive results on key metrics comparing our method with experienced drivers who performed idle-time repositioning based on their own expertise.

研究の動機と目的

• ドライバーの空き時間における最適な再配置戦略を最適化することで、ライドシェアドライバーの収益効率を向上させること。
• 小規模なフリート（個別ドライバー）および大規模なフリート（都市規模）の両方の再配置シナリオに対応できるスケーラブルなフレームワークを開発すること。
• 学習済み価値ネットワークと計画を組み合わせることで、リアルタイムかつ即時の再配置意思決定を可能にすること。
• 大規模フリート環境において、混雑を回避し、全体の効率を向上させるために車両の移動を調整すること。
• 主要なライドシェアプラットフォームを用いたシミュレーションおよび実世界の現地実験を通じて、本手法の有効性を検証すること。

提案手法

• 本フレームワークは、過去のライドシェアデータを用いたバッチオフライン学習により、深層Qネットワークに基づく状態価値関数を学習する。
• 最適な再配置行動は、学習済み価値ネットワークを用いた価値ベースのポリシー探索により、必要に応じて生成され、計画とブートストラップを統合する。
• 標準的な探索が失敗した場合に、低需要地域からドライバーを誘導するための長距離探索機構を導入し、希少な地域での再配置成功率を向上させる。
• 供給需要（SD）情報は状態表現に組み込まれ、大規模フリートシナリオにおける車両間の連携を可能にする。
• Q値ネットワークの状態特徴を拡張することで、単一乗車およびカープールモードの両方をサポートする。
• アルゴリズムはAIドライバー補佐として実装され、行動がリアルタイムで提案され、ドライバーの承認に従う。この承認は、タスク承認確率 $p_a$ でモデル化される。

実験結果

リサーチクエスチョン

• RQ1 意思決定時計画を用いた深層強化学習は、現実世界のライドシェア車両再配置において、熟練ドライバーの戦略を上回ることができるか？
• RQ2 統一されたフレームワークは、個別ドライバーの再配置と大規模フリートの調整の両方を効果的に処理できるか？
• RQ3 供給需要状態情報は、連携的で全体最適な再配置を可能にする上で、どのような役割を果たすか？
• RQ4 長距離探索機構は、低需要地域から高需要地域へドライバーを誘導する上で、どの程度効果的か？
• RQ5 経験豊富なドライバーと比較して、AIアシスタントは収益時給をどの程度向上させるか？

主な発見

• 実世界の現地テストにおいて、本手法は熟練ドライバーを上回る著しい収益時給を達成した。ドライバーは高い満足度を示し、再参加を希望した。
• 長距離探索機構により、遠隔地の低需要地域に滞在するドライバーが都市中心部へ適切に再配置され、生産性の低い地域での長時間の無効な待機を防いだ。
• シミュレーションベンチマークにおいて、本アルゴリズムは収益時給の向上という点で複数のベースラインを上回り、優れた効率性を示した。
• 大規模フリートシナリオにおいて、SDに配慮した状態表現により、車両の移動が効果的に調整され、高需要地点での混雑が回避された。
• ドライバーが再配置タスクを拒否した場合でも、単純な割引機構を行動価値に適用することで、本システムは高い性能を維持した。この割引は承認確率 $p_a$ に基づいて実施された。
• ドライバーの軌道解析の結果、長距離探索はまれにしか発動しなかったが、これは一般探索アルゴリズムが大多数のケースをカバーしていることを示唆している。しかしながら、長距離探索は稀に発生するが高インパクトな状況において極めて重要であることが判明した。