[論文レビュー] Attention Solves Your TSP.

Wouter Kool, Max Welling|arXiv (Cornell University)|Mar 22, 2018

Advanced Neural Network Applications参考文献 11被引用数 33

ひとこと要約

本論文は、2次元ユークリッドTSPを解くためのアテンションベースの強化学習フレームワークを提案する。ポインタネットに代わって、REINFORCEと動的グリーディベースラインを用いて訓練される純粋なグラフアテンションアーキテクチャを採用している。20ノードのTSPインスタンスでは最適性ギャップが75%低減され（0.33%に）、50ノードのインスタンスでは50%低減され（2.28%に）ており、従来の学習ベース手法を著しく上回っている。

ABSTRACT

We propose a framework for solving combinatorial optimization problems of which the output can be represented as a sequence of input elements. As an alternative to the Pointer Network, we parameterize a policy by a model based entirely on (graph) attention layers, and train it efficiently using REINFORCE with a simple and robust baseline based on a deterministic (greedy) rollout of the best policy found during training. We significantly improve over state-of-the-art results for learning algorithms for the 2D Euclidean TSP, reducing the optimality gap for a single tour construction by more than 75% (to 0.33%) and 50% (to 2.28%) for instances with 20 and 50 nodes respectively.

研究の動機と目的

• 組合せ最適化における深層学習手法、特にポインタネットの限界を是正すること。
• ポインタ機構を用いた自己回帰的デコードを避けるために、ポリシーのパrameterizationに完全にグラフアテンションレイヤーのみを用いるモデルの開発。
• トレーニング中に得られた最良のポリシーのグリーディロールアウトを用いて、動的ベースラインを導入することで、TSPにおける強化学習のサンプル効率とパフォーマンスを向上させること。
• 最小限のアーキテクチャ変更で、学習ベースTSPソルバにおける最先端のパフォーマンスを達成すること。

提案手法

• ポリシーは完全にマルチヘッドグラフアテンションレイヤーを用いてパrameter化され、TSPツア生成のエンドツーエンド学習を可能にしている。
• 強化学習は、アドバンテージ推定を用いたREINFORCEアルゴリズムで実行されている。
• 動的ベースラインが採用されており、トレーニング中に観測された最良のポリシーを保持し、そのグリーディロールアウトを用いて方策勾配の分散を低減している。
• 20および50ノードのTSPインスタンスの大量データセットを用いて訓練されており、報酬はツア長の負の値として形状化されている。
• アテンション機構により、ノードの文脈に依存した表現が計算され、ツア構築の各ステップで関連するノードに注目できる。
• 最終的なツアは、現在のノードと未訪問ノードを注目することで、自己回帰的に生成される。

実験結果

リサーチクエスチョン

• RQ1 純粋なアテンションベースアーキテクチャは、ポインタネットを上回ってTSPを学習的に解くことができるか？
• RQ2 動的グリーディベースラインは、REINFORCEに基づくTSPトレーニングにおけるサンプル効率とパフォーマンスを向上させるか？
• RQ3 自己アテンション機構は、TSPインスタンスの長距離依存性および構造的パターンをどの程度効果的に捉えることができるか？
• RQ4 標準TSPベンチマークにおいて、本手法は従来の学習ベース手法と比較して最適性ギャップの点でどの程度優れているか？
• RQ5 アーキテクチャの再トレーニングなしに、異なるTSPインスタンスサイズ間で一般化できるか？

主な発見

• 提案手法は、20ノードのTSPインスタンスにおいて最適性ギャップを0.33%まで低減し、従来の学習ベース手法比で75%の改善を達成した。
• 50ノードのTSPインスタンスでは、最適性ギャップが2.28%まで低減され、従来の学習ベース手法比で50%の改善が得られた。
• 20ノードおよび50ノードのTSPベンチマークの両方で、アテンションレイヤーと動的ベースラインのみを用いて最先端のパフォーマンスを達成した。
• 動的ベースラインは、静的ベースラインやベースラインフリーの代替手法と比較して、トレーニングの安定性と収束速度を顕著に向上させた。
• アテンション機構により、ポインタネットや再帰構造に依存せずに、ノード間の関係を効果的にモデル化できるようになった。
• フレームワークは異なるインスタンスサイズ間で良好に一般化され、アーキテクチャの再トレーニングなしに高いパフォーマンスを維持した。