[論文レビュー] DAN: Decentralized Attention-based Neural Network for the MinMax Multiple Traveling Salesman Problem

Yuhong Cao, Zhanhong Sun+1 more|arXiv (Cornell University)|Sep 9, 2021

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

本稿では、パラメータ共有を用いたマルチエージェント強化学習を用いて、MinMax複数巡回セールスマン問題（mTSP）を解く分散型アテンションベースのニューラルネットワーク、DANを提案する。エージェントが自己アテンションおよびクロスアテンション機構を通じて暗黙的に協調することで、DANは数秒で近似的最適な解を得ることができ、100～1000都市、5～20エージェントのスケールの大きなmTSPインスタンスにおいて、OR Toolsなどの最先端のソルバーよりも優れた性能を発揮し、計画時間も著しく短縮する。

ABSTRACT

The multiple traveling salesman problem (mTSP) is a well-known NP-hard problem with numerous real-world applications. In particular, this work addresses MinMax mTSP, where the objective is to minimize the max tour length among all agents. Many robotic deployments require recomputing potentially large mTSP instances frequently, making the natural trade-off between computing time and solution quality of great importance. However, exact and heuristic algorithms become inefficient as the number of cities increases, due to their computational complexity. Encouraged by the recent developments in deep reinforcement learning (dRL), this work approaches the mTSP as a cooperative task and introduces DAN, a decentralized attention-based neural method that aims at tackling this key trade-off. In DAN, agents learn fully decentralized policies to collaboratively construct a tour, by predicting each other's future decisions. Our model relies on the Transformer architecture and is trained using multi-agent RL with parameter sharing, providing natural scalability to the numbers of agents and cities. Our experimental results on small- to large-scale mTSP instances ($50$ to $1000$ cities and $5$ to $20$ agents) show that DAN is able to match or outperform state-of-the-art solvers while keeping planning times low. In particular, given the same computation time budget, DAN outperforms all conventional and dRL-based baselines on larger-scale instances (more than 100 cities, more than 5 agents), and exhibits enhanced agent collaboration. A video explaining our approach and presenting our results is available at \url{https://youtu.be/xi3cLsDsLvs}.

研究の動機と目的

• 動的ロボット環境における大規模な MinMax mTSP インスタンスを、迅速かつ効率的に解く課題に対処すること。
• 正確なソルバーやヒューリスティックソルバーの限界を克服し、インスタンスサイズが増加する中で時間制約が厳しい状況でも実用的でないことが生じるのを防ぐこと。
• 複数エージェント間での協調的かつリアルタイムの計画を可能にする、スケーラブルで分散型の深層強化学習手法を開発すること。
• 従来の深層強化学習およびメタヒューリスティックベースラインと比較して、解の質と計画効率を向上させること。

提案手法

• MinMax mTSPを協調的マルチエージェント強化学習フレームワークにおける逐次意思決定問題として定式化する。
• 都市とエージェントのための別々のエンコーダーを備えたTransformerベースのニューラルアーキテクチャを設計し、エージェント間および都市-エージェントの依存関係をアテンションベースでモデル化可能にする。
• エージェントと都市の間の相互作用をモデル化するための都市-エージェントエンコーダーを導入し、協調性を向上させるとともに、将来の意思決定を暗黙的に予測可能にする。
• パラメータ共有を用いたマルチエージェント強化学習によりモデルを訓練し、任意の数のエージェントや都市にスケーラブルに拡張可能にする。
• 解の質と推論速度のバランスを取るために、グリーディ推論とサンプリング推論のバリエーションを活用する。
• 自己アテンション機構を活用し、エージェントが分散的にグローバル状態を推論し、他のエージェントの将来の行動を予測可能にする。

実験結果

リサーチクエスチョン

• RQ1 大規模な MinMax mTSP インスタンスにおいて、分散型深層強化学習アプローチは、従来のソルバーよりも優れた解の質と短い計画時間を達成できるか？
• RQ2 エージェント間および都市-エージェントの依存関係に対するアテンションベースのモデリングは、mTSPにおけるエージェント間の協調性をどのように向上させるか？
• RQ3 マルチエージェント学習におけるパラメータ共有は、エージェント数や都市数の変動に応じて、スケーラビリティとパフォーマンスをどの程度向上させるか？
• RQ4 時間制約下でのmTSP計画において、提案されたアテンション機構は、一般的なエンコーダ-デコーダ構造を上回る性能を発揮するか？

主な発見

• 100都市以上、5体以上のエージェントを含むmTSPインスタンスにおいて、DANは同じ時間予算内にOR Toolsよりも10%高い解の質を達成した。
• 500都市以上のインスタンスでは、OR Toolsは1800秒以内に実行不可能となったが、DANのグリーディバージョンは100秒未満で高品質な解を生成した。
• DANの計画時間は都市数に線形に増加するが、OR Toolsは計算時間の増加が指数関数的であるため、その差が顕著に現れた。
• 10エージェントのmTSPインスタンスにおいて、DANはLKH3（正確なソルバ）の解の質の4%以内に収束したが、はるかに高速であった。
• DANにエージェントおよび都市-エージェントエンコーダーを追加したことで、汎用的な都市エンコーダ-デコーダ構造のみを用いたモデルと比較して、顕著な性能向上が達成された。
• DANは、ほぼすべてのmTSPインスタンスにおいて、2つの最近のdRLベース手法を上回る解の質を発揮し、特に大規模な設定において顕著な優位性を示した。