[論文レビュー] Learning Improvement Heuristics for Solving Routing Problems

Yaoxin Wu, Wen Song+3 more|arXiv (Cornell University)|Dec 12, 2019

Vehicle Routing Optimization Methods参考文献 48被引用数 49

ひとこと要約

この論文は自己注意に基づく強化学習ポリシーを訓練し、ルーティング問題の改善ヒューリスティクスを学習。TSPとCVRPで従来の DL ベース手法を上回り、サイズとデータセットを横断して一般化。

ABSTRACT

Recent studies in using deep learning to solve routing problems focus on construction heuristics, the solutions of which are still far from optimality. Improvement heuristics have great potential to narrow this gap by iteratively refining a solution. However, classic improvement heuristics are all guided by hand-crafted rules which may limit their performance. In this paper, we propose a deep reinforcement learning framework to learn the improvement heuristics for routing problems. We design a self-attention based deep architecture as the policy network to guide the selection of next solution. We apply our method to two important routing problems, i.e. travelling salesman problem (TSP) and capacitated vehicle routing problem (CVRP). Experiments show that our method outperforms state-of-the-art deep learning based approaches. The learned policies are more effective than the traditional hand-crafted ones, and can be further enhanced by simple diversifying strategies. Moreover, the policies generalize well to different problem sizes, initial solutions and even real-world dataset.

研究の動機と目的

• 構築ヒューリスティクスを超える改善オペレータを学習してルーティング問題の解法を改善する動機付け。
• 次の改善を選択するポリシーを直接学習するRLフレームワークを提案する。
• 2-opt やノードスワップのようなペアごとの局所演算子を扱う自己注意ベースのポリシーネットワークを開発する。
• このフレームワークを TSP と CVRP に適用し、最先端のベースラインと比較する。
• 異なる問題サイズ、初期解、実データセットへの一般化を示す。

提案手法

• 改善ヒューリスティクスを現在の解を状態とし、適用するペアワイズ演算子をノードペアとする継続的MDPとして定式化する。
• 報酬はこれまでに見つかった最良インカンベント解のincremental improvementであり、継続的な改善を促進する。
• 自己注意ベースのポリシーネットワークを使い、ノードペアを操作する確率行列を計算する。ノード埋め込みとノードペア選択モジュールを用いる。
• ノード埋め込みには位置エンコーディングと自己注意を組み込み、順序情報を捕捉する。
• ノードペア選択では、グローバルなグラフ情報とノード埋め込みを融合し、実行可能なペア上にマスク付きsoftmaxを適用する。
• n-stepリターンと継続タスク設定を用いたブートストラップ済みクリティック付きREINFORCEを用いた actor-critic アルゴリズムで訓練する。

実験結果

リサーチクエスチョン

• RQ1 改善ヒューリスティクスの学習ポリシーは、ルーティング問題の neighborhood search における手作りルールを上回るか。
• RQ2 TSPとCVRP の異なる問題サイズと初期解に対して、自己注意ベースのポリシーはどれくらい一般化するか。
• RQ3 学習された改善ポリシーは synthetic インスタンスを超えた実世界データセットに転移するか。
• RQ4 異なるペアワイズ演算子（例: 2-opt、ノードスワップ）が学習ポリシーの性能にどのような影響を与えるか。
• RQ5 単純な多様化戦略は学習ポリシーが生み出す解の品質をさらに高められるか。

主な発見

• 学習した改善ポリシーは TSP と CVRP で最先端の DL ベース手法を著しく上回る。
• RL フレームワークから学習されたポリシーは、従来の手作りルール（first-improvement および best-improvement）をインスタンスサイズを問わず上回る。
• 許可されたステップ制限 T を増やすと最適性ギャップが小さくなり、小さな TSP インスタンスで Concorde に近い品質を達成し、より大きな CVRP インスタンスでいくつかのベースラインを上回る。
• この手法は他の DL ベース手法と比較して実行時間が競争力をもち、問題サイズが大きくなるにつれてスケーラビリティが良い。
• 多回実行または多ポリシー戦略による多様化は解の品質をさらに向上させ、固定実行回数での多回実行が一般的に多ポリシーより大きな利得をもたらす。
• ポリシーは異なる問題サイズ、初期解、実データセットへの一般化性を持つ。