[論文レビュー] Can Sophisticated Dispatching Strategy Acquired by Reinforcement Learning? - A Case Study in Dynamic Courier Dispatching System

Yujie Chen, Qian Yu+6 more|arXiv (Cornell University)|Mar 7, 2019

Transportation and Mobility Innovations参考文献 24被引用数 16

ひとこと要約

本論文は、リアルタイムのeコマース受取サービスにおける動的配達者ディスpatch（CDP）問題を解消するためのマルチエージェント強化学習（MARL）フレームワークを提案する。問題をマルコフ決定過程としてモデル化し、階層的状態表現と報酬形状化を用いることで、人為的に設計されたおよび短視的なオンラインアルゴリズムを凌駕する、洗練された長期的ディスpatchポリシーを学習する。実世界および合成データを用いた実験では、13%高い収益を達成した。

ABSTRACT

In this paper, we study a courier dispatching problem (CDP) raised from an online pickup-service platform of Alibaba. The CDP aims to assign a set of couriers to serve pickup requests with stochastic spatial and temporal arrival rate among urban regions. The objective is to maximize the revenue of served requests given a limited number of couriers over a period of time. Many online algorithms such as dynamic matching and vehicle routing strategy from existing literature could be applied to tackle this problem. However, these methods rely on appropriately predefined optimization objectives at each decision point, which is hard in dynamic situations. This paper formulates the CDP as a Markov decision process (MDP) and proposes a data-driven approach to derive the optimal dispatching rule-set under different scenarios. Our method stacks multi-layer images of the spatial-and-temporal map and apply multi-agent reinforcement learning (MARL) techniques to evolve dispatching models. This method solves the learning inefficiency caused by traditional centralized MDP modeling. Through comprehensive experiments on both artificial dataset and real-world dataset, we show: 1) By utilizing historical data and considering long-term revenue gains, MARL achieves better performance than myopic online algorithms; 2) MARL is able to construct the mapping between complex scenarios to sophisticated decisions such as the dispatching rule. 3) MARL has the scalability to adopt in large-scale real-world scenarios.

研究の動機と目的

• 都市部のeコマース受取サービスにおける、確率的空間時間的需要パターンを有する動的でリアルタイムの配達者ディスpatchの課題に対処すること。
• 短期的最適化目的に依存せず、長期的収益向上を捉えることができるデータ駆動型でスケーラブルなディスpatch戦略を開発すること。
• 複雑で動的な環境における遅延報酬とエージェント間相互作用を伴う、集中型MDPモデル化と従来のオンラインアルゴリズムの限界を克服すること。
• 配達者間の協力を促進するための効果的な報酬形状化を備えた分散型MARLフレームワークを設計すること。
• 合成データおよび実世界の都市受取データセット上で、手法の一般化性とスケーラビリティを検証すること。

提案手法

• CDPは階層的構造を持つマルコフ決定過程（MDP）として定式化される：ディスパッチレベル（エージェントからグリッドへの割り当て）とルーティングレベル（時間窓制約付きオリエンティアリング問題）。
• 空間的・時間的需要パターンは、2時間の時間窓内で履歴的リクエスト密度、時間窓、サービス価値を表すスタックされたマルチレイヤーグリッド画像として符号化される。
• 分散制御を用いたマルチエージェント強化学習（MARL）アルゴリズムが訓練され、各配達者が自らの局所的観測に基づいて独立したエージェントとして動作する。
• 協力を促進するために報酬形状化が適用される：エージェントはリクエストの成功履行に基づき遅延的で累積的な報酬を受け取り、長時間スパンの依存関係に対応するように信用配分が調整される。
• 方策ネットワークには、経験再生とターゲットネットワークを用いた深層Q学習が使用され、訓練の安定化が図られる。状態空間には空間グリッド、配達者の利用可能状況、リクエストメタデータ（例：時間窓、価格）が含まれる。
• 本手法は、合成データおよび杭州からの実世界の受取データを用いて評価され、GHEP、ランダム、MBMベースラインと比較するアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 MARLは、人為的に設計された短視的なオンラインアルゴリズムを凌駆するディスパッチポリシーを学習できるか？
• RQ2 遅延報酬を伴う分散型MARL環境において、報酬形状化は配達者間の協力をどの程度効果的に促進できるか？
• RQ3 顧客の時間窓分布の変化、動的リクエスト比率、ゾーン構成の変更といった未観測シナリオに対して、MARLポリシーはどの程度一般化できるか？
• RQ4 グリーディまたはルールベースの手法と比較して、MARLベースのディスパッチ戦略は、空間的・時間的需要パターンを捉えることでより良い長期的収益を達成できるか？
• RQ5 数百人の配達者とリクエストを含む大規模都市環境において、提案されたMARLフレームワークはどの程度スケーラブルか？

主な発見

• MARL-EPはすべてのベースラインを上回り、フェイル2実験ではGHEPポリシーに比べ13%高い合計収益を達成した。1,000回の訓練エピソードを経過した後、GHEPを上回る性能を示した。
• MARL-EPポリシーは、即時の報酬が低いことから短視的な戦略が到達できなかった遠隔で孤立した地域への事前ディスパッチを通じて、優れた長期的計画性を示した。
• 本手法は未観測シナリオに対しても良好に一般化され、顧客の時間窓分布の変化、動的リクエスト比率、ゾーンレイアウトの変更に対しても、モデルのロバストネスを確認した。
• 分散型MARLに報酬形状化を適用することで、エージェント間の効果的な協力が実現され、重複する競争が軽減され、空間的・時間的次元における需要供給マッチングが向上した。
• MARLフレームワークは大規模データセットに対しても効果的にスケーリングされ、フェイル4（各配達者ごとに独立した訓練）はフェイル1（共有ポリシー）と同等の性能を示したが、エージェント1人あたりのサンプルサイズが小さいため、学習が遅かった。
• トラジェクトリ解析により、MARL-EPエージェントが、ランダムまたはグリーディポリシーとは異なり、進化するリクエストホットスポットに適合するより戦略的かつ適応的な経路をたどっていることが確認された。