[論文レビュー] On Learning Paradigms for the Travelling Salesman Problem

Chaitanya K. Joshi, Thomas Laurent+1 more|arXiv (Cornell University)|Oct 16, 2019

Reinforcement Learning in Robotics参考文献 20被引用数 21

ひとこと要約

本論文は、巡回セールスマン問題（TSP）を解くための深層ニューラルネットワークを学習する際の教師あり学習（SL）と強化学習（RL）のパラダイムを比較している。固定サイズのTSPインスタンス（20〜100ノード）で訓練された自己回帰的グラフアテンションモデルを用いて、両手法とも訓練サイズではほぼ最適に近い性能を達成するが、RLは未学習の大規模なインスタンス（最大500ノード）への一般化が著しく優れている。これは、スパarsな報酬に基づく学習がより広範な構造的パターンを捉えることができることに起因し、RLはスケール不変な組合せ最適化ソルバーの実現に不可欠であると示している。

ABSTRACT

We explore the impact of learning paradigms on training deep neural networks for the Travelling Salesman Problem. We design controlled experiments to train supervised learning (SL) and reinforcement learning (RL) models on fixed graph sizes up to 100 nodes, and evaluate them on variable sized graphs up to 500 nodes. Beyond not needing labelled data, our results reveal favorable properties of RL over SL: RL training leads to better emergent generalization to variable graph sizes and is a key component for learning scale-invariant solvers for novel combinatorial problems.

研究の動機と目的

• 教師あり学習（SL）と強化学習（RL）の学習パラダイムが、TSPにおける深層学習モデルの一般化に与える影響を調査すること。
• RLはサンプル効率が低いものの、変動および大規模なグラフサイズへのエメrgェントな一般化に優位性を示すかどうかを評価すること。
• RLベースの学習が、特定のグラフサイズに過学習する可能性のあるSLと比較して、よりスケール不変な方策を生み出すかどうかを特定すること。
• 自己回帰的TSPソルバーの文脈において、RLとSLの安定性およびサンプル効率を評価すること。

提案手法

• 同じ構造の自己回帰的グラフアテンションネットワークモデルを2つ訓練：一方はロールアウトベースのREINFORCE（RL）、他方は最適解を用いた交差エントロピー損失（SL）。
• 固定サイズの訓練データ（TSP20、TSP50、TSP100）を用い、TSP20からTSP500までのテストセットで一般化性能を評価した。
• ロバストネスを評価するため、グリーディ探索、サンプリング（1,280個の解）、ビームサーチ（ビーム幅1,280）の3つのデコーディング戦略を採用した。
• ホールドアウトされたテストセット上で、平均タウ長と最適解からの乖離率（最適解からのパcentage偏差）を性能指標として測定した。
• モデルアーキテクチャ、最適化アルゴリズム、訓練ハイパーパramータを同一に保ちながら、学習パラダイムの影響を隔離する制御実験を実施した。
• ロールアウトベースをクライアントベースに置き換え、グラフトランスフォーマーエンコーダーをGCNエンコーダーに置き換えることで、主な結果のロバストネスをテストした。

実験結果

リサーチクエスチョン

• RQ1 強化学習（RL）は、訓練サイズを超える未学習の大きなTSPインスタンス（TSP150〜TSP500）に対するゼロショット一般化において、教師あり学習（SL）を上回るか？
• RQ2 RLの優れた一般化性能は、学習パラダイムそのものに起因するものか、それともグラフエンコーダーやベースラインタイプといった特定のモデル部品に依存するのか？
• RQ3 異なるデコーディング戦略（グリーディ、サンプリング、ビームサーチ）は、変動サイズのTSPインスタンスにおけるSLおよびRLモデルの性能と安定性にどのように影響するか？
• RQ4 自己回帰的モデルを用いたTSPに適用した場合、RLの訓練はSLと同等の安定性とサンプル効率を示すか？
• RQ5 RLベースの訓練は、ラベル付きデータを必要としない条件下でも、スケール不変なソルバーを組合せ最適化問題に導くことができるか？

主な発見

• 固定訓練サイズ（TSP20〜TSP100）では、SLとRLの両モデルがほぼ最適な性能を達成しており、ビームサーチを用いたSLモデルはTSP100で0.38%の最適性ギャップを達成した。
• 大規模なインスタンス（TSP150〜TSP500）へのゼロショット一般化において、RLモデルは全デコーディング戦略でSLモデルを一貫して上回った。特にグリーディ探索で最大の性能差が観察された。
• ビームサーチを用いたTSP500におけるRLモデルの最適性ギャップは2.85%であったのに対し、SLモデルは7.79%であった。これは、RLの一般化性能が著しく優れていることを示している。
• サンプリングベースのデコーディングは、大規模インスタンスではグリーディ探索より性能が悪く、均一な確率分布がポリシーの信頼性が低いことを示唆している。
• 安定性およびサンプル効率の観点から、RLとSLは同等であり、同じ学習率下で収束に必要なミニバッチ数もほぼ同一であった。
• 異なるベースライン（ロールアウト対クライアント）およびグラフエンコーダー（グラフトランスフォーマー対GCN）の下でも、RLの優れた一般化性能は安定しており、これは学習パラダイムそのものに起因することが確認された。