[論文レビュー] Generalize a Small Pre-trained Model to Arbitrarily Large TSP Instances

Zhang-Hua Fu, Kai-Bin Qiu+1 more|arXiv (Cornell University)|Dec 19, 2020

Metaheuristic Optimization Algorithms Research参考文献 35被引用数 22

ひとこと要約

本論文では、グラフサンプリング、グラフ変換、ヒートマップマージを用いて、小規模な教師ありモデルを任意の大きさのTSPインスタンスに一般化するハイブリッド機械学習手法を提案する。事前に学習されたアテンションベースのグラフ畳み込み残差ネットワークを用いてヒートマップを生成し、それをモンテカルロ木探索（MCTS）と組み合わせることで、10,000都市のインスタンスにおいてLKH3の最適解から平均4.39%のギャップで近最適解を達成し、既存の学習ベース手法を著しく上回った。

ABSTRACT

For the traveling salesman problem (TSP), the existing supervised learning based algorithms suffer seriously from the lack of generalization ability. To overcome this drawback, this paper tries to train (in supervised manner) a small-scale model, which could be repetitively used to build heat maps for TSP instances of arbitrarily large size, based on a series of techniques such as graph sampling, graph converting and heat maps merging. Furthermore, the heat maps are fed into a reinforcement learning approach (Monte Carlo tree search), to guide the search of high-quality solutions. Experimental results based on a large number of instances (with up to 10,000 vertices) show that, this new approach clearly outperforms the existing machine learning based TSP algorithms, and significantly improves the generalization ability of the trained model.

研究の動機と目的

• TSPにおける教師あり学習モデルの一般化性能の低さを克服すること。これは、分布シフトのため、大規模インスタンスでは通常失敗する。
• 再訓練を必要とせずに、任意のサイズのTSPインスタンスに同一の小規模な事前学習済みモデルを再利用可能にすること。
• 教科書的最適化手法に依存せず、スケーラブルで一般化可能なフレームワークを構築し、組合せ最適化において教師あり学習と強化学習を統合すること。
• 大規模インスタンスにおいても高い解品質を維持しつつ、熟練者によるヒューリスティクスに依存する度合いを著しく低減すること。

提案手法

• 小規模TSPインスタンス（例：20〜100都市）に対して、事前に計算された最適解を用いた教師あり学習により、小規模なアテンションベースのグラフ畳み込み残差ネットワーク（Att-GCRN）を訓練する。
• 大規模TSPインスタンスに対しては、事前学習済みモデルの入力サイズに一致するサイズのサブグラフを繰り返し抽出するためのグラフサンプリングを適用する。
• 各サンプルされたサブグラフを標準的なTSPインスタンスに変換し、事前学習済みのAtt-GCRNを用いてエッジ品質を示すサブヒートマップを生成する。
• すべてのサブヒートマップを、元の大きなグラフ全体のヒートマップにマージし、空間的および構造的関連性を保持する。
• マージされたヒートマップをモンテカルロ木探索（MCTS）アルゴリズムにおけるポリシー事前分布として用い、高品質なTSP巡回路の探索を支援する。
• 変換ベースのMCTSを実装し、各状態を完全な巡回路とし、行動をエッジの入れ替えとして定義する。これは従来の構築型MCTSとは異なる。

実験結果

リサーチクエスチョン

• RQ1 小規模なTSPインスタンスで学習された教師ありモデルが、任意の大規模TSPインスタンスに一般化可能か？
• RQ2 グラフサンプリングとヒートマップマージは、異なるインスタンスサイズ間でモデルの一般化性能を保持するのにどの程度有効か？
• RQ3 事前学習済みの教師ありモデルとMCTSを組み合わせることで、純粋な強化学習や教師ありベースラインよりも優れた性能が得られるか？
• RQ4 本手法は、再訓練なしで大規模TSPインスタンス（例：10,000都市）において近最適解を達成可能か？

主な発見

• 提案手法のAtt-GCRN+MCTSは、10,000都市のTSPインスタンス16例において、LKH3の最適解から平均4.3902%のギャップを達成した。
• ヒートマップが存在しない場合、MCTS単体では10,000都市インスタンスで平均1,293.22%のギャップを示し、ヒートマップの重要性が明確に示された。
• 本手法は、3つの既存の学習ベース手法を上回り、同じ10,000都市インスタンスでそれぞれ平均501.27%、97.39%、80.28%のギャップを示した。
• 10,000都市インスタンスにおける本手法の平均実行時間は4.16分であり、最良のベースラインの1.69時間に比べて著しく高速であった。
• より小さなインスタンス（例：20〜1,000都市）においても、本手法は常に5%未満のギャップで近最適解を生成した。
• アブレーションスタディにより、ヒートマップが不可欠であることが確認され、その無効化はすべてのインスタンスサイズで著しい性能低下を引き起こした。