[論文レビュー] Deep Reinforcement Learning for Multi-Driver Vehicle Dispatching and Repositioning Problem

John Holler, Risto Vuorio+7 more|arXiv (Cornell University)|Nov 25, 2019

Transportation and Mobility Innovations参考文献 23被引用数 7

ひとこと要約

本論文は、マルチドライバー車両配車・再配置問題（MDVDRP）のための深層強化学習フレームワークを提案する。システム中心のエージェントが注釈に基づくニューラルネットワークを介してドライバーを調整し、ファミリー全体のパフォーマンスを最適化する。ドライバー中心の報酬設計により、実世界のデータにおいて、ヒューリスティックベースラインを最大10%上回る順序処理率を達成した。

ABSTRACT

Order dispatching and driver repositioning (also known as fleet management) in the face of spatially and temporally varying supply and demand are central to a ride-sharing platform marketplace. Hand-crafting heuristic solutions that account for the dynamics in these resource allocation problems is difficult, and may be better handled by an end-to-end machine learning method. Previous works have explored machine learning methods to the problem from a high-level perspective, where the learning method is responsible for either repositioning the drivers or dispatching orders, and as a further simplification, the drivers are considered independent agents maximizing their own reward functions. In this paper we present a deep reinforcement learning approach for tackling the full fleet management and dispatching problems. In addition to treating the drivers as individual agents, we consider the problem from a system-centric perspective, where a central fleet management agent is responsible for decision-making for all drivers.

研究の動機と目的

• 空間的・時間的に変化する供給と需要のもとで、リアルタイムのライドシェアプラットフォームにおける複数ドライバーの協調を扱う、複雑で動的な課題に取り組むこと。
• 手作業で設計されたヒューリスティクスを回避する、ドライバーの配車と再配置を統合的に最適化するエンドツーエンドの学習ベースのソリューションを開発すること。
• マルチエージェント強化学習フレームワークにおいて、システム中心の報酬設計とドライバー中心の報酬設計の有効性を比較評価すること。
• 大規模な配車環境における可変サイズの観測と行動空間を効果的に処理できる、スケーラブルな注釈ベースのニューラルアーキテクチャを設計すること。

提案手法

• 本論文はMDVDRPを新たなRL問題として導入し、動的な条件下で配車と再配置を段階的決定プロセスとしてモデル化する。
• ドライバーと注文の位置を処理する注釈機構を用いて、グローバルな状態表現を学習し、関連する空間的・時間的特徴に注目できるようにする。
• システム中心のエージェントは、すべてのドライバーを調整するためのポリシーを学習するために、深層Qネットワーク（DQN）とプロキシマルポリシーオプティマイゼーション（PPO）を用いる。報酬はシステム全体のパフォーマンス指標に基づく。
• 入力の注釈レイヤーを要素ごとの演算に置き換え、再帰的デコーダーを省略するという、新しいネットワークリアーキテクチャを採用し、効率性とスケーラビリティを向上させる。
• モデルは、合成環境（歴史的注文および歴史的統計ドメイン）と、ディディーチューシンのGAIAデータセットからの実世界データの両方でトレーニングされる。
• 10の環境を並列に使用したPPOの実装により、1,000名を超えるドライバーと1日10万件を超える注文を含む大規模インスタンスのトレーニングを高速化する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習エージェントは、時間的に変化する供給と需要を伴う動的なライドシェア環境において、複数のドライバーを効果的に協調させることができるか？
• RQ2 パフォーマンスと学習の安定性の観点から、システム中心の報酬設計とドライバー中心の報酬設計の違いは何か？
• RQ3 注釈ベースのニューラルネットワークアーキテクチャは、大規模で現実世界の配車シナリオにおける可変サイズの入力と出力に対応できるか？
• RQ4 エンドツーエンドの学習は、注文処理率とシステム効率の観点で、短絡的注文距離最小化のような従来のヒューリスティック手法を上回るか？

主な発見

• ドライバー中心のPPOポリシーは、286,135 ± 1,089という最高の評価スコアを達成し、システム中心のPPO（261,059 ± 184）とMRM-randomベースライン（252,656 ± 280）を顕著に上回った。
• ドライバー中心のアプローチは、最高のベースライン比で注文処理率を約10%向上させ、実世界のデータ環境において一貫した優位性を示した。
• DQNはPPOよりも高いサンプル効率を示したが、PPOはシステム中心の報酬から学習する際により効果的であり、トレーニングの安定性とデータ使用のトレードオフが示された。
• 注釈ベースのアーキテクチャは、可変サイズの入力を効果的に処理でき、大規模なシミュレーションにおいて数千人のドライバーと注文の間で効果的な協調を実現した。
• ドライバーと注文の生成パラメータをそれぞれ7%と50%低下させることで、供給過剰による飽和を避ける十分な改善余地を有する現実的な環境が構築された。
• 実証結果から、学習ベースのポリシーが、特に動的かつ不確実な需要条件下で、短絡的配車・再配置戦略を常に上回ることが確認された。