[論文レビュー] Learning to Iteratively Solve Routing Problems with Dual-Aspect Collaborative Transformer

Yining Ma, Jingwen Li+5 more|arXiv (Cornell University)|Oct 6, 2021

Vehicle Routing Optimization Methods被引用数 49

ひとこと要約

Dual-Aspect Collaborative Transformer (DACT) を導入し、ルーティング問題を解くためにノードと位置埋め込みを別個に学習し、循環的位置エンコーディングを用い、PPOとカリキュラム学習で訓練する。従来のTransformerベースの手法より強い一般化能力と性能向上を TSP および CVRP で実現。

ABSTRACT

Recently, Transformer has become a prevailing deep architecture for solving\nvehicle routing problems (VRPs). However, it is less effective in learning\nimprovement models for VRP because its positional encoding (PE) method is not\nsuitable in representing VRP solutions. This paper presents a novel Dual-Aspect\nCollaborative Transformer (DACT) to learn embeddings for the node and\npositional features separately, instead of fusing them together as done in\nexisting ones, so as to avoid potential noises and incompatible correlations.\nMoreover, the positional features are embedded through a novel cyclic\npositional encoding (CPE) method to allow Transformer to effectively capture\nthe circularity and symmetry of VRP solutions (i.e., cyclic sequences). We\ntrain DACT using Proximal Policy Optimization and design a curriculum learning\nstrategy for better sample efficiency. We apply DACT to solve the traveling\nsalesman problem (TSP) and capacitated vehicle routing problem (CVRP). Results\nshow that our DACT outperforms existing Transformer based improvement models,\nand exhibits much better generalization performance across different problem\nsizes on synthetic and benchmark instances, respectively.\n

研究の動機と目的

• 既存の Transformer エンコーダと位置エンコーディングの限界に対処することで、VRP のニューラルソルバーの改善を動機付ける。
• ノード情報と位置情報を別々にエンコードする dual-aspect 表現を提案し、ノイズを低減し学習を改善する。
• VRP 解の円環性と対称性を捉える循環的位置エンコーディング（CPE）を開発する。
• サンプル効率と収束を高めるために、Proximal Policy Optimizationとカリキュラム学習でモデルを訓練する。
• 複数サイズにわたる TSP および CVRP で提案手法の一般化と性能向上を示す。

提案手法

• Separate node feature embeddings (NFEs) と positional feature embeddings (PFEs) を用いた Dual-Aspect Collaborative Transformer (DACT) を導入する。
• 自己注意をAspectごとに行い、NFEsとPFEsの間のクロスアスパクト参照注意を通じて相互利用を可能にする DAC エンコーダを用いる。
• VRP 解の循環性と隣接性を reflect する cyclic Gray codes に基づく Cyclic Positional Encoding (CPE) を PFEs に埋め込む。
• デコーダでは、Max-pooling と Multi-Head Compatibility (MHC) 層を介して両方のアスペクトから提案を集約し、その後 Feed-Forward Aggregation (FFA) によって行動確率を出力する。
• PPO とカリキュラム学習戦略を用いて訓練し、初期解の品質を段階的に高めてサンプル効率を改善する。

実験結果

リサーチクエスチョン

• RQ1 dual-aspect 埋め込み戦略は標準的な Transformer の統一埋め込みより VRP 解の表現を改善できるか？
• RQ2 循環的位置エンコーディングは VRP 解の循環性をよりよく捉え、問題サイズを跨いだ一般化を改善するか？
• RQ3 カリキュラム学習は neural VRP ソルバーの PPO ベース訓練におけるサンプル効率と収束にどのように影響するか？
• RQ4 DACT の TSP および CVRP における一般化能力は、異なるインスタンスサイズやベンチマークデータセットでどう現れるか？
• RQ5 DACT は解の品質と推論時間の点で、最先端のニューラルおよび伝統的ソルバーと比較してどうか？

主な発見

• DACT はパラメータ数が少ない状態で既存の Transformer ベースの改善モデルよりも優れている。
• CPE は循環構造と隣接性のエンコードを向上させ、問題サイズを跨いだ一般化を改善する。
• dual-aspect 表現は TSP50/100 で一貫して単一アスペクトのベースラインより性能を向上させる。
• カリキュラム学習は PPO 訓練のサンプル効率と安定性を改善し、収束を速める。
• DACT は TSP および CVRP のベンチマークで競合的または優れたギャップを達成し、TSPLIB および CVRPLIB データセットで強い一般化を示す。