[論文レビュー] MOVI: A Model-Free Approach to Dynamic Fleet Management

Takuma Oda, Carlee Joe‐Wong|arXiv (Cornell University)|Apr 13, 2018

Transportation and Mobility Innovations参考文献 14被引用数 9

ひとこと要約

MOVIは、分散型DQNを用いたモデルフリーな深層強化学習手法を提案し、動的タクシー配車において各車両が独立して最適な配車ポリシーを学習可能にする。ノーディスパッチと比較して未対応リクエストを76%削減し、中央集権的リceding-horizon control（RHC）ポリシーと比較して20%削減する。これは、現実の動的環境において、協調的でモデルに基づく手法を上回る、分散型で迅速な反応が可能なポリシーの有効性を示している。

ABSTRACT

Modern vehicle fleets, e.g., for ridesharing platforms and taxi companies, can reduce passengers' waiting times by proactively dispatching vehicles to locations where pickup requests are anticipated in the future. Yet it is unclear how to best do this: optimal dispatching requires optimizing over several sources of uncertainty, including vehicles' travel times to their dispatched locations, as well as coordinating between vehicles so that they do not attempt to pick up the same passenger. While prior works have developed models for this uncertainty and used them to optimize dispatch policies, in this work we introduce a model-free approach. Specifically, we propose MOVI, a Deep Q-network (DQN)-based framework that directly learns the optimal vehicle dispatch policy. Since DQNs scale poorly with a large number of possible dispatches, we streamline our DQN training and suppose that each individual vehicle independently learns its own optimal policy, ensuring scalability at the cost of less coordination between vehicles. We then formulate a centralized receding-horizon control (RHC) policy to compare with our DQN policies. To compare these policies, we design and build MOVI as a large-scale realistic simulator based on 15 million taxi trip records that simulates policy-agnostic responses to dispatch decisions. We show that the DQN dispatch policy reduces the number of unserviced requests by 76% compared to without dispatch and 20% compared to the RHC approach, emphasizing the benefits of a model-free approach and suggesting that there is limited value to coordinating vehicle actions. This finding may help to explain the success of ridesharing platforms, for which drivers make individual decisions.

研究の動機と目的

• モデルフリーで分散型の配車アプローチが、動的ファミリー管理において協調的でモデルに基づく手法を上回るかを調査すること。
• 大規模で不確実性の高い都市移動環境における、協調性、計算コスト、パフォーマンスのトレードオフを評価すること。
• 1500万件のNYCタクシー乗車記録を用いて、現実の条件下で配車ポリシーを評価可能なリアルなシミュレーションフレームワークを設計・検証すること。
• システムモデルに依存せずに、リアルタイムのファミリー運用における強化学習の実用性とスケーラビリティを検討すること。

提案手法

• 各車両が価値関数近似を用いて独立して最適な配車ポリシーを学習する、Deep Q-Network（DQN）フレームワークをMOVIが採用する。
• 各車両における高速な推論を実現するための簡素化された訓練手法を用い、100ms未塔の遅延でリアルタイム意思決定を可能にする。
• 中央集権的リceding-horizon control（RHC）ポリシーをベースラインとして実装し、大規模な線形計画問題を解いて車両の配車を調整する。
• 1500万件の実際のタクシー乗車記録を用いて、配車意思決定をシミュレートし、ポリシーのパフォーマンスを評価可能な大規模で現実的なシミュレータを構築する。
• RHCポリシーと同じ配車サイクルを用いてDQNポリシーを評価する（DQN*）ことで、協調性とは別に意思決定速度の影響を分離する。
• 入力特徴量には車両の位置、時間帯、予測需要が含まれるが、移動時間や将来の需要の明示的モデル化は行わない。

実験結果

リサーチクエスチョン

• RQ1 分散型でモデルフリーな配車ポリシーは、中央集権的でモデルに基づくアプローチを動的ファミリー管理において上回ることができるか？
• RQ2 未対応リクエスト数と待機時間の観点から、DQNベースのポリシーとリceding-horizon control（RHC）ポリシーのパフォーマンスはどのように比較されるか？
• RQ3 高不確実性でリアルタイム性が求められる環境において、意思決定速度と協調性がポリシー効果性に与える影響は何か？
• RQ4 協調性が欠如しているにもかかわらず、個別車両最適化がシステム全体の成果をシステム全体最適化よりも良くするのか？

主な発見

• DQNポリシーは、ノーディスパッチと比較して未対応リクエストを76%削減し、RHCポリシーと比較して20%削減する。これは、優れたパフォーマンスを示している。
• DQNポリシーは、RHCポリシーと同じ配車サイクル（DQN*）を用いてもRHCを上回るパフォーマンスを達成しており、速度と適応性が主な利点であることが示された。
• DQNポリシーはRHCと比較して、より高い最低車両利用率を達成しており、車両間での作業負荷のバランスが取れていると示唆される。
• DQNポリシーはRHCと比較してわずかにアイドル走行時間が長いが、これは特にピーク時間帯（20時～24時）に顕著な低いリジェクト率によって相殺される。
• DQNポリシーは100ms未塔の推論時間のおかげで、数秒から数十秒かかるRHCポリシーの最適化よりも環境変化に迅速に適応できる。
• 結果から、中央集権的協調には限定的な利点があることが示唆され、これはUberのような分散型ライドシェアプラットフォームの成功を説明する要因である可能性がある。