[論文レビュー] POMO: Policy Optimization with Multiple Optima for Reinforcement Learning

Yeong‐Dae Kwon, Jinho Choo+4 more|arXiv (Cornell University)|Oct 30, 2020

Reinforcement Learning in Robotics参考文献 29被引用数 135

ひとこと要約

POMO は複数の開始点を探索し共有ベースラインを用いることで、組合せ最適化のための強化学習ソルバーを訓練し、TSP、CVRP、KP で最先端の結果を達成し、推論をより速く行います。

ABSTRACT

In neural combinatorial optimization (CO), reinforcement learning (RL) can turn a deep neural net into a fast, powerful heuristic solver of NP-hard problems. This approach has a great potential in practical applications because it allows near-optimal solutions to be found without expert guides armed with substantial domain knowledge. We introduce Policy Optimization with Multiple Optima (POMO), an end-to-end approach for building such a heuristic solver. POMO is applicable to a wide range of CO problems. It is designed to exploit the symmetries in the representation of a CO solution. POMO uses a modified REINFORCE algorithm that forces diverse rollouts towards all optimal solutions. Empirically, the low-variance baseline of POMO makes RL training fast and stable, and it is more resistant to local minima compared to previous approaches. We also introduce a new augmentation-based inference method, which accompanies POMO nicely. We demonstrate the effectiveness of POMO by solving three popular NP-hard problems, namely, traveling salesman (TSP), capacitated vehicle routing (CVRP), and 0-1 knapsack (KP). For all three, our solver based on POMO shows a significant improvement in performance over all recent learned heuristics. In particular, we achieve the optimality gap of 0.14% with TSP100 while reducing inference time by more than an order of magnitude.

研究の動機と目的

• 組合せ最適化 (CO) の強化学習における対称性と複数の最適解を特定する。
• 探索と安定性を改善するために複数の最適表現を活用する訓練手法を開発する。
• 複数の貪欲ローアウトとインスタンス拡張を活用した効率的な推論手法を提案する。
• POMO を三つの NP困難問題 (TSP、CVRP、KP) で、既存のニューラル RL 手法よりギャップと速度の点で改善して実証する。

提案手法

• 各インスタンスに対して並列に複数の解ローアウトを生成するよう N 個の異なる開始ノードを指定して POMO を設計する。
• N 本の軌道全体の平均リターンとして計算される共有ベースライン b_shared(s) を用いて勾配分散を低減し、早期収束に抵抗する。
• マルチスタート軌道計画と共有ベースラインを用いてポリシーパラメータを最適化する REINFORCE を適用する。
• さまざまな開始点からの N 本の貪欲軌道を評価して最良の解を選択する多重貪欲軌道推論法を採用する。
• 推論時に問題変換（座標回転・変換など）を適用して同じインスタンスの追加的な貪欲ローアウトを生成するインスタンス拡張を組み込む。
• Attention Model ポリシーネットワークとの互換性を示し、ネットワークのデコーダ内で並列ローアウト生成を実装する。

実験結果

リサーチクエスチョン

• RQ1 対称性と複数の最適解を活用することは、CO 問題における探索と安定性を改善するか。
• RQ2 複数の軌道にわたる共有ベースラインは、勾配分散を減少させ、グリーディー・ローアウトベースラインより局所極小の影響を軽減できるか。
• RQ3 多開始貪欲推論とインスタンス拡張は、TSP、CVRP、KP の解品質と推論時間にどのように影響するか。

主な発見

• POMO は TSP100 で非常に小さい最適性ギャップ (0.14%) を用いた複数の貪欲ローアウトと拡張によってほぼ最適解に近い解を達成し、品質と速度の両方で従来の学習ヒューリスティックを上回る。
• 複数開始ノードと共有ベースラインを用いた訓練は、greedy-rollout ベースラインと比べて安定したサンプル効率の高いポリシー学習と局所極小への感受性低減をもたらす。
• 推論では、多開始貪欲ローアウト（インスタンス拡張付き）は単一軌道や純粋なサンプリング手法よりしばしば良い解を生み、推論時間を劇的に短縮できる。
• POMO は同じニューラルネットワークと訓練手順を用いて、三つの問題 (TSP、CVRP、KP) で競合するか優れた性能を達成し、問題に依存しない適用性を強調する。
• このアプローチは推論で大幅なスピードアップを示し（例：TSP100）、最新のニューラル RL 手法と比較して解の品質を維持または改善する。