[論文レビュー] Learning to Solve Vehicle Routing Problems with Time Windows through Joint Attention

Jonas K. Falkner, Lars Schmidt-Thieme|arXiv (Cornell University)|Jun 16, 2020

Vehicle Routing Optimization Methods参考文献 31被引用数 16

ひとこと要約

本稿では、時間窓を伴う車両巡回問題（CVRP-TW）を解くために、複数の車両ルートにわたる連携注目（joint attention）を用いる新しい強化学習モデル、JAMPRを提案する。このモデルは同時に複数のルートを構築することで、複雑な制約下でも優れた意思決定を可能にし、3種類のCVRP-TWのバリエーションにおいて、最先端の機械学習手法およびメタヒューリスティック手法を上回る性能を発揮し、高速な推論時間も維持している。

ABSTRACT

Many real-world vehicle routing problems involve rich sets of constraints with respect to the capacities of the vehicles, time windows for customers etc. While in recent years first machine learning models have been developed to solve basic vehicle routing problems faster than optimization heuristics, complex constraints rarely are taken into consideration. Due to their general procedure to construct solutions sequentially route by route, these methods generalize unfavorably to such problems. In this paper, we develop a policy model that is able to start and extend multiple routes concurrently by using attention on the joint action space of several tours. In that way the model is able to select routes and customers and thus learns to make difficult trade-offs between routes. In comprehensive experiments on three variants of the vehicle routing problem with time windows we show that our model called JAMPR works well for different problem sizes and outperforms the existing state-of-the-art constructive model. For two of the three variants it also creates significantly better solutions than a comparable meta-heuristic solver.

研究の動機と目的

• 既存の深層学習モデルがCVRP-TWに対して逐次的なルート構築を採用していることによる制約の限界、特に複雑な制約への対処の難しさや一般化性能の低さを是正すること。
• 顧客の割り当て先となるルートを同時に決定できるポリシー・モデルの開発により、複数のルート間のトレードオフを改善すること。
• すべてのアクティブなルート、車両、時間窓に関する情報を統合した包括的な状態空間と行動空間の設計。
• 硬直的、部分的に柔ららかく、完全に柔ららかな時間窓を含む、さまざまな制約の厳しさを持つCVRP-TWのバリエーションにおけるモデルの評価。
• 複数のツアーにわたる連携注目が、逐次モデルやメタヒューリスティックと比較して優れた解の質をもたらすことを実証すること。

提案手法

• JAMPRは、複数のツアーにわたる連携注目を備えたトランスフォーマー型デコーダーを採用し、行動選択時にすべてのルートを同時に注目できるようにしている。
• ノード、車両、ツアーのための強化された特徴埋め込みを用いており、時間窓、容量使用率、ルートの状態を符号化している。
• 連携行動空間により、エージェントが同時に次の顧客とターゲットルートを選択可能となり、単一ルートの意思決定に依存する逐次的依存性を回避している。
• ポリシー・ネットワークは、連携行動空間におけるポ인터注目メカニズムを用いて次の行動を予測し、ルーティングと割り当て意思決定を統合的に処理している。
• カリキュラム学習を用いた強化学習により訓練されており、初期段階では単純な問題インスタンスから始め、徐々に複雑さを増していく。
• 推論ではグリーディデコードまたはビームサーチによるサンプリングが用いられ、並列処理のレベルを制御するパラメータ $m_{con}$ が、同時に拡張されるルート数を制御する。

実験結果

リサーチクエスチョン

• RQ1 複数のルートを同時に構築する深層強化学習モデルは、きつい制約を伴うCVRP-TWにおいて、逐次的モデルを上回る性能を発揮できるか？
• RQ2 複数のツアーにわたる連携注目は、単一ルートの構築と比較して、ルートのバランス、時間窓の適合性、総コストのトレードオフをより良く実現できるか？
• RQ3 異なるCVRP-TWのバリエーションにおいて、本モデルの性能は最先端の機械学習モデルおよび確立されたメタヒューリスティックソルバー（GORT）と比較してどうなるか？
• RQ4 並列処理レベル（$m_{con}$）は、さまざまな問題サイズおよび制約タイプにおいて、解の質と推論速度にどのような影響を及えるか？
• RQ5 本モデルは、時間窓のない標準的なCVRPにも一般化可能であり、既存のSOTAモデルと比較してどうなるか？

主な発見

• JAMPRは、3つのCVRP-TWバリエーションすべてにおいて、適応版AM +TWを著しく上回り、TW1（N=50）では$ t_{10240} $サンプリングを用いたAM +TWの6878.84と比較して平均コスト1716.60を達成した。
• TW1において、JAMPRはGORT - AUより26.5%低いコスト、GORT - GLSより28.5%低いコストを達成したが、後者より8倍速い。
• TW2では、GORTと同等の解の質を達成したが、推論がはるかに高速（0.25s vs. 8.09s）であり、10,240回のサンプリングを用いたAM +TWをも凌駆した。
• TW3では、全テストモデルの中で最も低いコスト（N=50のとき1947.65）を達成し、GORT - GLS（2753.66）およびAM +TW（4161.24）のサンプリングを上回った。
• JAMPRは、時間窓のない標準的なCVRP（CVRP）においても強く性能を発揮し、N=50のときコスト11.44を記録した。これはAMの10.98よりわずかに劣るが、依然として競争力がある。
• 本モデルは、AM +TW や GORT よりも少ない車両数（$k$）を自然に生成しており、特に制約が厳しい環境（例：TW1）において、より優れたルートバランスを示している。