[論文レビュー] Multi-Vehicle Routing Problems with Soft Time Windows: A Multi-Agent Reinforcement Learning Approach

Ke Zhang, Meng Li+3 more|arXiv (Cornell University)|Feb 13, 2020

Vehicle Routing Optimization Methods参考文献 28被引用数 17

ひとこと要約

本稿では、ソフトタイムウィンドウを伴うマルチ・ビークルルーティング問題（MVRPSTW）を解くためのマルチエージェント強化学習手法、マルチエージェントアテンションモデル（MAAM）を提案する。ルーティングをエンコーダ・デコーダアーキテクチャとアテンション機構を用いた反復的ツアー生成プロセスとして定式化し、マルチエージェント強化学習と非教師付き補助ネットワークを用いてトレーニングすることで、オフライントレーニング後はほぼ即時の推論が可能となり、計算時間は最小限に抑えられながら、高い解の品質を達成した。この手法は、合成ベンチマークにおいてGoogle OR-Tools や従来のヒューリスティクスを上回った。

ABSTRACT

Multi-vehicle routing problem with soft time windows (MVRPSTW) is an indispensable constituent in urban logistics distribution systems. Over the past decade, numerous methods for MVRPSTW have been proposed, but most are based on heuristic rules that require a large amount of computation time. With the current rapid increase of logistics demands, traditional methods incur the dilemma between computational efficiency and solution quality. To efficiently solve the problem, we propose a novel reinforcement learning algorithm called the Multi-Agent Attention Model that can solve routing problem instantly benefit from lengthy offline training. Specifically, the vehicle routing problem is regarded as a vehicle tour generation process, and an encoder-decoder framework with attention layers is proposed to generate tours of multiple vehicles iteratively. Furthermore, a multi-agent reinforcement learning method with an unsupervised auxiliary network is developed for the model training. By evaluated on four synthetic networks with different scales, the results demonstrate that the proposed method consistently outperforms Google OR-Tools and traditional methods with little computation time. In addition, we validate the robustness of the well-trained model by varying the number of customers and the capacities of vehicles.

研究の動機と目的

• 増加する物流需要に伴い、従来のヒューリスティクス手法ではMVRPSTWを処理するのに時間がかかりすぎる都市物流ディストリビューションシステムにおける計算課題に対処すること。
• 計算時間の大幅な削減を実現しながらも、高い解の品質を維持するスケーラブルかつ効率的なルーティングソリューションを開発すること。
• アテンション機構を用いた深層強化学習が、ソフトタイムウィンドウを伴う複雑なマルチエージェントルーティング問題に適用可能かどうかを検討すること。
• 訓練済みモデルの耐性（ロバストネス）が、顧客数や車両容量の変化に対してどの程度保たれるかを検証すること。

提案手法

• 車両ルーティング問題を、マルチヘッドアテンション層を用いてルート計画における長距離依存関係を捉えるエンコーダ・デコーダフレームワークを用いた反復的ツアー生成プロセスとしてモデル化する。
• 各車両を独立したエージェントとして扱うマルチエージェント強化学習フレームワークを採用し、分散型意思決定とスケーラブルなトレーニングを実現する。
• 追加のトレーニング信号を提供するため、非教師付き補助ネットワークを導入し、ポリシー学習の安定性と収束性を向上させる。
• モデルは、スケールが異なる合成ネットワーク上でオフラインでトレーニングされ、実稼働時にはリアルタイム推論が可能になる。
• アテンション機構により、ルート構築中に関連する顧客やタイムウィンドウ制約を動的に注目できる。
• エンコーダは問題の全状態を処理し、デコーダは未訪問の顧客に対するアテンションを用いて段階的にルートを生成する。

実験結果

リサーチクエスチョン

• RQ1 アテンション機構を用いたマルチエージェント強化学習アプローチは、ソフトタイムウィンドウを伴うMVRPSTWを高い解の品質を維持したまま効果的に解けるか？
• RQ2 本手法は、Google OR-Tools などの従来のヒューリスティクスソルバーと比較して、性能と推論速度の両面で優れているか？
• RQ3 訓練済みモデルは、顧客数の変化や車両容量の変更に対してどの程度耐性を示すか？
• RQ4 非教師付き補助ネットワークは、マルチエージェントルーティングにおけるトレーニング効率とポリシー性能を顕著に向上させることができるか？

主な発見

• 提案されたMAAM手法は、すべての4つの合成ネットワークベンチマークにおいて、Google OR-Tools や従来のヒューリスティクス手法を一貫して上回った。
• 長時間のオフライントレーニングを経て、計算時間は最小限に抑えられながらも、ほぼ即時の推論が達成され、強力なスケーラビリティと効率性を示した。
• 顧客数の変化や異なる車両容量のテストにおいても、高いパフォーマンスと耐性を維持したため、優れた一般化性能が示された。
• 非教師付き補助ネットワークの導入により、トレーニング中の収束が早まり、ポリシーの安定性が向上した。
• アテンション機構により、効果的な長距離依存関係のモデリングが可能となり、より整合的で効率的なルート生成が実現した。