[論文レビュー] Optimizing Online Matching for Ride-Sourcing Services with Multi-Agent Deep Reinforcement Learning

Jintao Ke, Feng Xiao+2 more|arXiv (Cornell University)|Feb 17, 2019

Transportation and Mobility Innovations参考文献 20被引用数 30

ひとこと要約

本稿では、乗車サービスにおけるオンラインマッチングを最適化する二段階フレームワークを提案する。マルチエージェント深層強化学習（DRL）と組合せ最適化を組み合わせることで、遅延マッチング時間を動的に決定し、平均ピックアップ時間を短縮しながら高いマッチング率を維持する。従来手法に比べて、システム効率が顕著に向上する。

ABSTRACT

Ride-sourcing services are now reshaping the way people travel by effectively connecting drivers and passengers through mobile internets. Online matching between idle drivers and waiting passengers is one of the most key components in a ride-sourcing system. The average pickup distance or time is an important measurement of system efficiency since it affects both passengers' waiting time and drivers' utilization rate. It is naturally expected that a more effective bipartite matching (with smaller average pickup time) can be implemented if the platform accumulates more idle drivers and waiting passengers in the matching pool. A specific passenger request can also benefit from a delayed matching since he/she may be matched with closer idle drivers after waiting for a few seconds. Motivated by the potential benefits of delayed matching, this paper establishes a two-stage framework which incorporates a combinatorial optimization and multi-agent deep reinforcement learning methods. The multi-agent reinforcement learning methods are used to dynamically determine the delayed time for each passenger request (or the time at which each request enters the matching pool), while the combinatorial optimization conducts an optimal bipartite matching between idle drivers and waiting passengers in the matching pool. Two reinforcement learning methods, spatio-temporal multi-agent deep Q learning (ST-M-DQN) and spatio-temporal multi-agent actor-critic (ST-M-A2C) are developed. Through extensive empirical experiments with a well-designed simulator, we show that the proposed framework is able to remarkably improve system performances.

研究の動機と目的

• 動的乗車サービスシステムにおける乗客の待機時間、ピックアップ時間、マッチング成功率のトレードオフを解消すること。
• リクエストを一時的にプールに保って、ドライバーと乗客の数を増やし、マッチング品質を向上させる遅延マッチングの潜在的利点を調査すること。
• 強化学習を用いて、各乗客リクエストごとの最適なマッチング遅延を動的に決定するリアルタイム意思決定メカニズムを開発すること。
• 高次元かつ非定常な環境においてスケーラブルかつ適応可能なディスpatchingを実現するため、マルチエージェント深層強化学習と従来の組合せ最適化を統合すること。
• 提案フレームワークの有効性を評価し、平均ピックアップ時間を短縮しながら高いリクエスト完了率を維持すること。

提案手法

• フレームワークは二段階で構成される：上位にマルチエージェント深層強化学習（DRL）モジュール、下位に凸組合せ最適化モジュールを配置する。
• DRLモジュールは、ST-M-DQNとST-M-A2Cの二つのモデルを用い、空間的・時間的状態特徴に基づいて各乗客リクエストの最適な遅延マッチング時間を学習する。
• 各エージェント（乗客リクエスト）は、各時間インターバルにおいてマッチングプールに参加するかどうかを決定し、意思決定を段階的行動選択問題としてモデル化する。
• 組合せ最適化段階では、最小コスト二部マッチング（例：Kuhn-Munkresに類似）を用いて、プール内の待機中のドライバーを乗客に割り当て、合計ピックアップ時間を最小化する。
• DRLエージェントはリアルタイムの供給需要ダイナミクス（ドライバーおよび乗客の位置など）を観測し、即時のマッチングと遅延による将来の利得のバランスを取る方策を学習する。
• フレームワークは、実世界の乗車サービスデータを用いた設計されたシミュレータを用いて訓練および評価され、確率的かつ動的な供給需要パターンを捉えている。

実験結果

リサーチクエスチョン

• RQ1 遅延マッチングは、マッチング成功率に悪影響を与えることなく、乗車サービスシステムにおける平均ピックアップ時間を顕著に短縮できるか？
• RQ2 マルチエージェント深層強化学習は、個々の乗客リクエストごとの最適なマッチング遅延を動的に決定するために効果的に適用可能か？
• RQ3 DRLと組合せ最適化を統合した場合、純粋な最適化手法や従来のRLベースライン手法に比べて、どの程度のパフォーマンス向上が得られるか？
• RQ4 空間的・時間的特徴とマルチエージェント連携は、大規模かつ非定常なディスパッチ環境における意思決定をどのように向上させるか？
• RQ5 提案フレームワークは、リアルタイムの乗車サービス運用において、待機時間、ピックアップ時間、マッチング率のトレードオフをどの程度うまくバランスできるか？

主な発見

• 提案されたST-M-DQNおよびST-M-A2Cモデルは、ベースライン最適化手法や他のベンチマークに比べ、平均ピックアップ時間を顕著に短縮する。
• フレームワークはシステム効率に顕著な改善をもたらし、平均ピックアップ時間が大幅に短縮された一方で、リクエスト完了率の損失は最小限に抑えられた。
• DRLによって制御される遅延マッチングの導入により、より多くのドライバーと乗客がプールに集まり、ピックアップ距離が短くなるため、マッチング品質が向上する。
• マルチエージェントDRLアプローチは、動的な供給需要の変動を効果的に捉え、リアルタイムでマッチング意思決定を適応的に変更でき、単一エージェントや非学習ベースラインを上回る性能を示す。
• 実証結果から、二段階フレームワークは待機時間とピックアップ時間のトレードオフをうまくバランスしており、複雑な環境においても頑健性とスケーラビリティを示している。
• 空間的・時間的DRLと組合せ最適化の統合は、ディスパッチパフォーマンスの向上に有効であることが実証され、本フレームワークの実世界の乗車サービスプラットフォームへの実用的潜在能力が裏付けられた。