[論文レビュー] Deep Reinforcement Learning for Crowdsourced Urban Delivery: System States Characterization, Heuristics-guided Action Choice, and Rule-Interposing Integration

Tanvir Ahamed, Bo Zou+2 more|arXiv (Cornell University)|Nov 29, 2020

Transportation and Mobility Innovations参考文献 39被引用数 4

ひとこと要約

本稿では、空間的・時間的および容量データを用いてシステム状態をモデル化し、訓練効率を向上させるためのヒューリスティック誘導型アクション選択を統合し、重複するルート探索を防ぐためのルール挿入を適用する、クラウドソーシング都市配達を最適化するための深層強化学習（DRL）フレームワークを提案する。本手法は、従来のヒューリスティクスと比較して、優れた解の品質、より速い収束速度、および優れたスケーラビリティを達成する。

ABSTRACT

This paper investigates the problem of assigning shipping requests to ad hoc couriers in the context of crowdsourced urban delivery. The shipping requests are spatially distributed each with a limited time window between the earliest time for pickup and latest time for delivery. The ad hoc couriers, termed crowdsourcees, also have limited time availability and carrying capacity. We propose a new deep reinforcement learning (DRL)-based approach to tackling this assignment problem. A deep Q network (DQN) algorithm is trained which entails two salient features of experience replay and target network that enhance the efficiency, convergence, and stability of DRL training. More importantly, this paper makes three methodological contributions: 1) presenting a comprehensive and novel characterization of crowdshipping system states that encompasses spatial-temporal and capacity information of crowdsourcees and requests; 2) embedding heuristics that leverage the information offered by the state representation and are based on intuitive reasoning to guide specific actions to take, to preserve tractability and enhance efficiency of training; and 3) integrating rule-interposing to prevent repeated visiting of the same routes and node sequences during routing improvement, thereby further enhancing the training efficiency by accelerating learning. The effectiveness of the proposed approach is demonstrated through extensive numerical analysis. The results show the benefits brought by the heuristics-guided action choice and rule-interposing in DRL training, and the superiority of the proposed approach over existing heuristics in both solution quality, time, and scalability. Besides the potential to improve the efficiency of crowdshipping operation planning, the proposed approach also provides a new avenue and generic framework for other problems in the vehicle routing context.

研究の動機と目的

• 時間窓および容量制限を伴う都市環境において、動的かつ一時的な配達依頼をアドホックな配達員に割り当てる課題に対処すること。
• リアルタイムの配達割り当てを実現するためのスケーラブルで効率的な深層強化学習アプローチを開発すること。
• 構造的状態表現と分野特有のヒューリスティクスを用いて、DRLの訓練安定性と収束性を向上させること。
• ルール挿入機構を用いて、学習中の重複するルート探索を防止すること。
• 提案手法が従来のヒューリスティクスと比較して、解の品質、計算時間、スケーラビリティの面で優れていることを示すこと。

提案手法

• 訓練の安定化と高速化を図るため、経験再生とターゲットネットワークを用いた深層Qネットワーク（DQN）を採用する。
• 配達員および配達依頼の空間的・時間的・容量的情報を統合的に表現する、包括的な状態表現を設計する。
• 直感的なルーティング論理に基づいてヒューリスティクスをアクション選択プロセスに統合し、訓練の効率性と取り扱いやすさを向上させる。
• ルーティング改善中に繰り返し発生するノード列およびルートを検出し、ブロックすることで、探索の重複を低減するルール挿入を統合する。
• 動的依頼到着および配達員の利用可能性を伴う、シミュレーテッド都市配達シナリオ上で、DQNをエンドツーエンドで訓練する。
• 提案手法の解の品質、訓練速度、スケーラビリティを、ベースラインヒューリスティクスと比較するための広範な数値実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 クラウドソーシング都市配達におけるシステム状態は、どのように効果的に特徴化できるか？ これによりDRLに基づく意思決定が支援される。
• RQ2 ヒューリスティック誘導型アクション選択は、複雑なルーティング環境におけるDRL訓練の効率性と安定性をどの程度向上させるか？
• RQ3 ルール挿入機構は、車両ルーティングにおけるDRLの学習において、重複する探索を低減し、収束を加速できるか？
• RQ4 提案されたDRLフレームワークは、従来のヒューリスティクスと比較して、解の品質、実行時間、スケーラビリティの観点でどの程度優れているか？
• RQ5 提案手法は、クラウドソーシング配達を越えた他の車両ルーティング問題へ一般化可能か？

主な発見

• アクション選択にヒューリスティクスを統合することで、DRLモデルの訓練効率と収束速度が顕著に向上する。
• ルール挿入により、繰り返し発生するルート探索が低減され、学習が加速され、サンプル効率が向上する。
• 提案されたDRLフレームワークは、特に複雑で動的な環境において、従来のヒューリスティクスを上回る高い解の品質を達成する。
• 配達依頼数および配達員数の増加に対しても、本手法は優れたスケーラビリティを示す。
• 状態特徴化、ヒューリスティック誘導、ルール挿入の組み合わせにより、標準DQNと比較して収束が速く、訓練がより安定する。
• 実験結果は、時間窓および容量制約を伴う実世界に類似した都市配達シナリオにおいて、本フレームワークの有効性を確認している。