[論文レビュー] Learning to Optimise General TSP Instances

Nasrin Sultana, Jeffrey Chan+2 more|arXiv (Cornell University)|Oct 23, 2020

Multimodal Machine Learning Applications参考文献 38被引用数 5

ひとこと要約

この論文は、ユークリッド空間を超える多様なTSPインスタンスに対して一般化可能なヒューリスティクスを学習するため、CNNとRNNアーキテクチャを組み合わせた深層学習モデルであるNETSP-Netを提案する。簡単で一様に分布したユークリッドTSPインスタンス上で訓練されたモデルは、非ユークリッド的で非一様的、かつ大規模なTSP問題に対しても効果的に一般化でき、TSPLIBやランダムインスタンスを含むベンチマークデータセットで競争力のある性能を達成している。

ABSTRACT

The Travelling Salesman Problem (TSP) is a classical combinatorial optimisation problem. Deep learning has been successfully extended to meta-learning, where previous solving efforts assist in learning how to optimise future optimisation instances. In recent years, learning to optimise approaches have shown success in solving TSP problems. However, they focus on one type of TSP problem, namely ones where the points are uniformly distributed in Euclidean spaces and have issues in generalising to other embedding spaces, e.g., spherical distance spaces, and to TSP instances where the points are distributed in a non-uniform manner. An aim of learning to optimise is to train once and solve across a broad spectrum of (TSP) problems. Although supervised learning approaches have shown to achieve more optimal solutions than unsupervised approaches, they do require the generation of training data and running a solver to obtain solutions to learn from, which can be time-consuming and difficult to find reasonable solutions for harder TSP instances. Hence this paper introduces a new learning-based approach to solve a variety of different and common TSP problems that are trained on easier instances which are faster to train and are easier to obtain better solutions. We name this approach the non-Euclidean TSP network (NETSP-Net). The approach is evaluated on various TSP instances using the benchmark TSPLIB dataset and popular instance generator used in the literature. We performed extensive experiments that indicate our approach generalises across many types of instances and scales to instances that are larger than what was used during training.

研究の動機と目的

• 非ユークリッド的で非一様に分布したインスタンスにおいて一般化に失敗する既存の学習最適化手法の限界に対処すること。
• 最適解が既知の容易で解きやすいユークリッドTSPインスタンス（例：TSP20, TSP50）を用いて訓練することで、多様で困難なトレーニングデータを生成する課題を克服すること。
• 再訓練なしに、異なる問題サイズ、エッジ重みタイプ、埋め込み空間（例：球面距離）に対応できる1つのモデルを実現すること。
• 小規模で単純なTSPインスタンスで訓練されたモデルが、より大規模で複雑なインスタンスに対しても高品質な解を生成できることを示すこと。
• TSPにとどまらず他のNP困難問題へも拡張可能なスケーラブルで汎用的な深層学習フレームワークを提供すること。

提案手法

• 都市の座標から空間的パターンを抽出するための畳み込みニューラルネットワーク（CNN）と、順次ツアーの順序を生成するための再帰的ニューラルネットワーク（RNN）、特にLSTMを組み合わせたハイブリッドニューラルアーキテクチャを設計する。
• Concordeを用いて得た真値最適解を有する、小規模な（例：TSP20, TSP50）ユークリッドTSPインスタンスの大量データセットを用いて、教師あり学習でモデルを訓練する。
• CNNが都市間の局所的空間的依存関係を学習できることを活かし、異なる距離計測法（例：球面距離のためのハーヴェイズィン距離）に対しても一般化可能である。
• RNNデコーダー内にポインタネットワーク機構を適用し、ツアーにおける次に訪問する都市を予測することで、都市の有効な順列を保証する。
• トレーニング中に異なる分布やエッジ重みタイプを持つ多様なTSPインスタンスを生成することでデータオーグメンテーションを実施し、モデルのロバスト性を向上させる。
• 一般化性能を評価するため、TSPLIB、ランダム生成インスタンス、非ユークリッドインスタンス（例：Bays29は大円距離を用いて計算）のホールドアウトインスタンスをテストに使用する。

実験結果

リサーチクエスチョン

• RQ1 容易で一様に分布したユークリッドTSPインスタンスのみで訓練されたモデルは、より困難で非一様的、非ユークリッド的TSPインスタンスに対しても一般化可能か？
• RQ2 従来の学習最適化モデルと比較して、CNN-RNNアーキテクチャは問題サイズやエッジ重みタイプの変化に対して、どの程度一般化性能を向上させるか？
• RQ3 小規模インスタンス（例：TSP20–TSP100）で訓練されたモデルは、再訓練なしに大規模TSPインスタンス（例：TSP200, TSP500）に対しても効果的な解を予測可能か？
• RQ4 多様なベンチマークデータセットやインスタンスタイプにおいて、提案手法は最先端の学習ベースTSPソルバーと比較してどの程度の性能を発揮するか？
• RQ5 球面距離など、都市の分布や距離計測法の変化に対してロバストなヒューリスティクスを学習可能か？

主な発見

• NETSP-Netは、ハーヴェイズィン公式を用いて計算された非ユークリッド的TSPインスタンス（例：Bays29）に対しても、ユークリッドデータでのみ学習されたにもかかわらず、ベースライン手法を上回る性能を示した。
• TSP20, TSP50, TSP100において、最先端手法と同等の平均ツアー長を達成しており、ペアt検定による統計的有意差は認められなかった（p > 0.05）。
• 小規模インスタンス（例：TSP20, TSP50）でのみ学習されたにもかかわらず、NETSP-Netは大規模なテストインスタンス（例：TSP100, TSP200）に対しても実行可能で高品質な解を生成でき、強力なゼロショット一般化を示した。
• CNN部により、距離計測法に依存しない空間的パターンを学習可能であるため、ユークリッド距離、ランダム距離、球面距離など、異なるエッジ重みタイプに対しても一般化可能である。
• インスタンス間評価において、特に訓練データが限られた状況下でも、AM [9] などの先行モデルと比較してNETSP-Netは性能を上回るか同等の性能を発揮した。
• 実験結果から、モデルの性能はベルリン52のような困難なインスタンスやTSP50のような一様に分布したインスタンスを含む多様なTSPインスタンスタイプにおいても安定的かつ競争力のあるままであることが示された。