[論文レビュー] Attention, Learn to Solve Routing Problems!

Wouter Kool, Herke van Hoof+1 more|UvA-DARE (University of Amsterdam)|Mar 22, 2018

Vehicle Routing Optimization Methods被引用数 191

ひとこと要約

この論文は greedy rollout baseline を用いた REINFORCE で訓練されたアテンションベースのエンコーダ-デコーダモデルが、ルーティング問題のヒューリスティクスを学習し、単一のハイパーパラメータ設定で TSP、VRP の variants、OP、PCTSP、SPCTSP に対して高い性能を達成する。

ABSTRACT

The recently presented idea to learn heuristics for combinatorial optimization problems is promising as it can save costly development. However, to push this idea towards practical implementation, we need better models and better ways of training. We contribute in both directions: we propose a model based on attention layers with benefits over the Pointer Network and we show how to train this model using REINFORCE with a simple baseline based on a deterministic greedy rollout, which we find is more efficient than using a value function. We significantly improve over recent learned heuristics for the Travelling Salesman Problem (TSP), getting close to optimal results for problems up to 100 nodes. With the same hyperparameters, we learn strong heuristics for two variants of the Vehicle Routing Problem (VRP), the Orienteering Problem (OP) and (a stochastic variant of) the Prize Collecting TSP (PCTSP), outperforming a wide range of baselines and getting results close to highly optimized and specialized algorithms.

研究の動機と目的

• 組合せ最適化ルーティング問題のヒューリスティクスを学習させる動機づけを行い、手作りのソルバーへの依存を減らす。
• ルーティングタスクの既存学習ヒューリスティクスを上回るアテンションベースのエンコーダ-デコーダアーキテクチャを提案します。
• 単純な greedy rolloutbaseline を用いた REINFORCE による訓練の有効性を示す。
• TSP、VRP variants、Orienteering Problem、Prize Collecting TSP、および確率的変種を含む問題に対して、競争力のある性能で広範な適用性を実証する。

提案手法

• グラフ構造を持つ入力からノード埋め込みを生成するアテンションベースのエンコーダを用いる。
• 実現可能性のためのマスキング戦略を用いて、逐次的に置換（ツアー）を出力する Transformer に類似したデコーダを採用する。
• 現在の最良ポリシーからの決定論的 greedy 解に基づく rollout baseline を用いた REINFORCE で訓練し、勾配分散を低減する。
• ログits 計算時にコンテキストノードと単頭注意機構を用いた、軽量で効率的なデコーディング戦略を採用する。
• 複数のルーティング問題に対して固定ハイパーパラメータを用いたバッチ訓練を利用し、アプローチの一般化を示す。

実験結果

リサーチクエスチョン

• RQ1 1つのハイパーパラメータセットで、アテンションベースのモデルは多様なルーティング問題を横断して効果的なルーティングヒューリスティクスを学習できるか？
• RQ2 greedy rollout baseline を用いた REINFORCE 学習は、ルーティングタスクにおいて value-function ベースのクリティックよりも安定かつ効率的な学習をもたらすか？
• RQ3 実用的なサイズで、学習されたヒューリスティクスは TSP、VRP variants、OP、PCTSP（確率的変種を含む）に対する専門解法または厳密解法にどれだけ迫れるか？
• RQ4 提案されたアーキテクチャ上の選択（エンコーダ/デコーダ、マスキング、コンテキストノード）が性能とスケーラビリティに与える影響はどの程度か？
• RQ5 問題サイズ（n が最大100）およびさまざまな問題タイプに対して、問題特定の調整なしで学習されたポリシーはロバストか？

主な発見

• Attention Model は、最大100ノードの TSP に対して prior learned heuristics より大幅に改善した結果を達成し、いくつかの例では最適解に近づく。
• 同じハイパーパラメータで、VRP variants、Orienteering Problem、確率的 PCTSP に対して強力なヒューリスティクスを学習し、多様なベースラインを上回る。
• REINFORCE は、単純な greedy rollout baseline を用いた場合に、学習を効率的に進め、actor-critic 法と比較して競争力のある性能を示す。
• このアプローチは複数のルーティング問題にわたり一般化可能で、実用的なルーティングタスクに対して単一の学習済ヒューリスティクスファミリーの実現可能性を示唆する。
• Greedy デコードとサンプリング戦略は、解の品質と実行時間の柔軟なトレードオフを提供し、実践的にはいくつかの非学習ベースラインを上回ることが多い。