[論文レビュー] Reinforcement Learning-based Non-Autoregressive Solver for Traveling Salesman Problems

Yubin Xiao, Di Wang+8 more|arXiv (Cornell University)|Aug 1, 2023

Vehicle Routing Optimization MethodsEngineering被引用数 3

ひとこと要約

本稿では、トレーリングセールスマン問題（TSP）のための、非自己回帰（NAR）強化学習（RL）ベースのソルバーであるNAR4TSPを提案する。本手法は、グラフニューラルネットワーク（GNN）を用いて学習可能な出発ノードポインタとエッジスコアを同時に最適化するとともに、学習時および推論時においてTSPの制約を厳密に満たす。自己評価型RLとNARデコードを統合することで、合成的および実世界のTSPインスタンスにおいて、最先端の解の質、高速な推論、優れた一般化性能を達成した。

ABSTRACT

The Traveling Salesman Problem (TSP) is a well-known combinatorial optimization problem with broad real-world applications. Recently, neural networks have gained popularity in this research area because as shown in the literature, they provide strong heuristic solutions to TSPs. Compared to autoregressive neural approaches, non-autoregressive (NAR) networks exploit the inference parallelism to elevate inference speed but suffer from comparatively low solution quality. In this paper, we propose a novel NAR model named NAR4TSP, which incorporates a specially designed architecture and an enhanced reinforcement learning strategy. To the best of our knowledge, NAR4TSP is the first TSP solver that successfully combines RL and NAR networks. The key lies in the incorporation of NAR network output decoding into the training process. NAR4TSP efficiently represents TSP encoded information as rewards and seamlessly integrates it into reinforcement learning strategies, while maintaining consistent TSP sequence constraints during both training and testing phases. Experimental results on both synthetic and real-world TSPs demonstrate that NAR4TSP outperforms five state-of-the-art models in terms of solution quality, inference speed, and generalization to unseen scenarios.

研究の動機と目的

• 既存の非自己回帰（NAR）モデルが解の質が低く、一般化性能に欠けること、および学習時と推論時の制約が一貫しないという問題を解決すること。
• 正確なソルバーからの高価な教師強化学習ラベルに依存せずに、強化学習（RL）とGNNアーキテクチャを統合した新しいNARモデルを開発すること。
• 学習時および推論時においてもハミルトニアンサイクルの制約を一貫して満たすことで、妥当で高品質なTSP解を保証すること。
• 標準的な二段階RLアーキテクチャを単一で最適化されたモジュールに置き換えることで、RL学習のサンプル効率を向上させ、計算コストを低減すること。
• NARモデルが一括推論の性質を活かして著しく高速な推論を達成できることを示し、リアルタイム意思決定に適した性能を実現すること。

提案手法

• ノード座標とノード間距離を入力とし、エッジスコアと出発ノードを指す学習可能なポインタを出力する、変更を加えたGNNアーキテクチャを提案。これにより、動的かつ最適なルート開始が可能になる。
• 学習時および推論時においても、各ノードを正確に一度だけ訪問するというTSPの順序制約（サイクル内での訪問順序）を強制するデコード戦略を導入。これにより、妥当な解が保証される。
• 自己評価型強化学習（RL）戦略を採用。モデル自身が予測した解をベースラインとして用い、方策勾配を計算することで、学習の安定性と性能が向上する。
• 標準的なRLフレームワークを改善し、二つの同一のサブモジュールを一つのモジュールに置き換えることで、メモリ使用量と学習時間を削減しつつ、解の質を維持または向上させる。
• デコードされたTSPルートの総経路長を報酬信号として用い、エンド・ツー・エンドで微分可能かつ解の質を直接最適化する。
• 推論時にはグリーディデコードを適用。NARネットワークの一括推論の性質を活かし、高速な解生成を実現する。

実験結果

リサーチクエスチョン

• RQ1 強化学習で訓練された非自己回帰モデルは、教師あり学習ベースラインと比較して、TSPにおいて優れた解の質を達成できるか？
• RQ2 推論時だけでなく学習時にもTSPの制約を適用することで、より一貫性があり高品質な解が得られるか？
• RQ3 学習可能な出発ノードポインタは、固定された出発点と比較して、解の質を顕著に向上させられるか？
• RQ4 提案された強化されたRL戦略は、標準的な二段階RLアーキテクチャと比較して、効率性と性能の面で優れているか？
• RQ5 NAR4TSPモデルは、サイズや分布が異なる未観測のTSPインスタンスに対しても、どの程度一般化できるか？

主な発見

• TSP50インスタンスにおいて、NAR4TSPは平均で5.752の解の長さを達成し、SOTAのNARモデル[13]の6.398と比較して11.23%の解の質の向上を示した。
• 学習可能なポインタ機構を除去すると、相対的に6.34%の性能低下が生じ、ルート最適化におけるその重要性が裏付けられた。
• モデルが決定する出発ノードを用いた解の長さは、10,000インスタンスにおいて最良の出発ノードと比較して0.06%以内に収まり、ほぼ最適な選択がなされていることを示した。
• 強化されたRL戦略により、元の二段階RLアーキテクチャと比較して、GPUメモリ使用量が9.89%削減され、学習時間が26.36%短縮された。加えて、解の質は0.48%向上した。
• NAR4TSPは、SOTAのNARモデル[13]と同等の解の質を維持しながら、一括推論の性質を活かして推論速度が8.7倍速くなった。
• 本モデルは、さまざまな問題分布やサイズの未観測TSPインスタンスに対しても、良好な一般化性能を示し、高いロバスト性を示した。