[論文レビュー] Deep Q-Learning for Same-Day Delivery with a Heterogeneous Fleet of Vehicles and Drones.

Xinwei Chen, Marlin W. Ulmer+1 more|arXiv (Cornell University)|Oct 25, 2019

Transportation and Mobility Innovations被引用数 13

ひとこと要約

本稿では、異種の車両とドローンからなるフリートを用いて、同じ日中に配達を最適化するためのディープQラーニングフレームワークを提案する。新規依頼について、ドローン、車両、または却下するかを動的に決定する。この手法は、分析的特徴選択を活用し、計算実験においてベンチマーク方策を上回る性能を示す。

ABSTRACT

In this paper, we consider same-day delivery with a heterogeneous fleet of vehicles and drones. Customers make delivery requests over the course of the day and the dispatcher dynamically dispatches vehicles and drones to deliver the goods to customers before their delivery deadline. Vehicles can deliver multiple packages in one route but travel relatively slowly due to the urban traffic. Drones travel faster, but they have limited capacity and require charging or battery swaps. To exploit the different strengths of the fleets, we propose a deep Q-learning approach. Our method learns the value of assigning a new customer to either drones or vehicles as well as the option to not offer service at all. To aid feature selection, we present an analytical analysis that demonstrates the role that different types of information have on the value function and decision making. In a systematic computational analysis, we show the superiority of our policy compared to benchmark policies and the effectiveness of our deep Q-learning approach.

研究の動機と目的

• 遅いが大容量の車両と、速いが小容量のドローンからなる混在したフリートを用いた動的同一日配達の課題に対処すること。
• 新規配達依頼をドローン、車両、または却下するかを決定するリアルタイムのディスpatchポリシーを開発すること。
• ドローンと車両の相補的な強みを活用することで、配達成功確率を向上させ、配達時間を短縮すること。
• 時間制約があり動的変化する配達意思決定の複雑さを効果的に扱える強化学習フレームワークを設計すること。

提案手法

• 新規配達依頼をドローン、車両、または却下する最適な行動方策を学習するためにディープQラーニングを採用する。
• 配達締切時刻、現在地、残り容量といった時間に敏感な特徴を組み込んだ価値関数を設計する。
• 分析的知見を活用して特徴選択をガイドし、状態表現が意思決定に重要な情報を的確に捉えるようにする。
• 経験再生とターゲットネットワークを用いてディープQネットワークを訓練し、動的で継続的な配達環境における学習の安定性を確保する。
• ドローンの制約（範囲制限、バッテリー制限、充電・交換の必要性）と車両の制約（渋滞、複数停止ルーティング）を状態空間および行動空間に組み込む。
• 新規依頼が1日を通じて到着するにつれ、割り当てを再評価する動的ディスpatchメカニズムを統合する。

実験結果

リサーチクエスチョン

• RQ1 同じ日中の配達文脈において、ディープQラーニングは、異種のドローンと車両のフリートに対して、動的に配達依頼を割り当てるのにどの程度有効であるか？
• RQ2 配達状態のどの特徴が価値関数および意思決定の正確性に最も顕著に影響を与えるか？
• RQ3 提案されたポリシーは、配達成功確率と到着時間の観点で、ベースラインディスパッチ戦略と比較してどの程度優れているか？
• RQ4 非実行可能な配達依頼を却下することによる、全体のシステムパフォーマンスへの影響は何か？

主な発見

• 提案されたディープQラーニングポリシーは、配達成功確率と到着時間の観点で、ベンチマークディスパッチポリシーを著しく上回る。
• 分析的特徴選択により、モデルの一般化能力と動的条件下での正確な意思決定能力が向上した。
• 本手法は、速いドローンと遅いが大容量の車両の両方の利用を効果的にバランスさせ、平均配達時間を短縮した。
• サービスが締切時刻までに完了できないと判断される依頼については、ポリシーがそれを却下するのを学習しており、システム効率が向上した。
• ディープQラーニングアプローチは、リアルタイムで時間制約のある配達意思決定を処理する上で、頑健性とスケーラビリティを示した。
• 計算実験により、ルールベースおよびヒューリスティックな代替手法よりも、本手法の優位性が確認された。