[論文レビュー] A Deep Reinforcement Learning Approach for Solving the Traveling Salesman Problem with Drone

Aigerim Bogyrbayeva, Taehyun Yoon+4 more|arXiv (Cornell University)|Dec 22, 2021

Vehicle Routing Optimization Methods被引用数 7

ひとこと要約

本稿では、注目メカニズムに基づくエンコーダとLSTMデコーダを組み合わせたハイブリッド深層強化学習モデルを提案し、ドローンを含む巡回セールスマン問題（TSP-D）を解く。LSTMデコーダは隠れ状態の記憶を用いて車両間の依存関係を捉えることで、状態なしの注目モデルに比べて解の品質と計算効率が著しく向上し、運用研究のベースラインと同等の性能を達成した。

ABSTRACT

Reinforcement learning has recently shown promise in learning quality solutions in many combinatorial optimization problems. In particular, the attention-based encoder-decoder models show high effectiveness on various routing problems, including the Traveling Salesman Problem (TSP). Unfortunately, they perform poorly for the TSP with Drone (TSP-D), requiring routing a heterogeneous fleet of vehicles in coordination -- a truck and a drone. In TSP-D, the two vehicles are moving in tandem and may need to wait at a node for the other vehicle to join. State-less attention-based decoder fails to make such coordination between vehicles. We propose a hybrid model that uses an attention encoder and a Long Short-Term Memory (LSTM) network decoder, in which the decoder's hidden state can represent the sequence of actions made. We empirically demonstrate that such a hybrid model improves upon a purely attention-based model for both solution quality and computational efficiency. Our experiments on the min-max Capacitated Vehicle Routing Problem (mmCVRP) also confirm that the hybrid model is more suitable for the coordinated routing of multiple vehicles than the attention-based model. The proposed model demonstrates comparable results as the operations research baseline methods.

研究の動機と目的

• 最後マイル配送における異種車両（トラックとドローン）間の協調ルーティングの課題に対処すること。
• TSP-Dにおける車両間の依存関係と待機制約を扱う際に、状態なしの注目ベースモデルの限界を克服すること。
• 外部のアルゴリズム的コンponentを必要とせず、高品質な解を学習するエンドツーエンドの深層強化学習モデルを開発すること。
• 本モデルの一般化能力を、複数台の車両と容量制約を伴う最小最大容量付き車両ルーティング問題（mmCVRP）のような他の協調ルーティング問題へ評価すること。

提案手法

• モデルは、顧客の位置と車両状態を文脈的な表現に埋め込むために注目ベースのエンコーダを用いる。
• LSTMベースのデコーダは、各車両がとった行動の系列を記録する隠れ状態を維持し、過去の意思決定と協調を記憶可能にする。
• デコーダは、現在の車両状態、直前のノードの埋め込み、意思決定中の車両の残り容量を組み合わせたコンテキストベクトルを用いて、未訪問ノードに対する注目を計算する。
• モデルは、全顧客をサービス完了するまでのマケスパン（完了時間）を最小化するように報酬を設計した強化学習により訓練される。
• 複数台の車両と容量制約を扱えるように、入力表現と報酬関数を調整することで、mmCVRPへのアーキテクチャの拡張が行われた。
• 標準ベンチマークを用いてTSP-DおよびmmCVRPで評価され、注目のみのモデルとOR-Toolsのベースラインと比較された。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習モデルは、車両がお互いに待機する可能性があるTSP-Dにおいて、異種車両（トラックとドローン）の協調を効果的に実現できるか？
• RQ2 LSTMベースのデコーダは、TSP-Dにおける車両間の依存関係をモデル化し、解の品質を向上させる点で、状態なしの注目デコーダを上回るか？
• RQ3 提案されたハイブリッドモデルは、複数台の車両と容量制約を伴うmmCVRPのような他の協調ルーティング問題へ一般化可能か？
• RQ4 解の品質と計算効率の観点から、OR-Toolsのような確立された運用研究手法と比較して、本モデルの性能はどの程度か？
• RQ5 本モデルは、異なる問題サイズと顧客位置の分布に対して、頑健に機能するか？

主な発見

• 提案されたハイブリッドモデル（HM）は、純粋な注目モデル（AM）に比べてTSP-Dで顕著に優れており、低い解コストと高速な推論時間を達成した。
• 20、50、100人の顧客を含むTSP-Dインスタンスにおいて、HMはConcordeと比較して平均コストギャップがそれぞれ1.38%、5.39%、9.93%であり、正確な手法に比べてはるかに高速だった。
• 3台の車両を伴うmmCVRPにおいて、N=20では1.04%のギャップ、N=30では0.00%のギャップを達成し、計算時間は低く抑えながらOR-Toolsの性能に匹敵した。
• LSTMデコーダが意思決定の履歴を追跡する隠れ状態を維持できることにより、特に待機制約の処理においてトラックとドローンの協調が向上した。
• モデルはmmCVRPへも良好に一般化され、同じアーキテクチャとハイパーパrameterを異なる協調ルーティング問題に適用可能であることが示された。
• HMはTSP-DおよびmmCVRPにおいて競争力のある性能を示したが、古典的TSPではAMに劣ることがあり、今後の研究として多様なルーティング問題に対応可能なユニバーサルアーキテクチャの開発が求められる。