[論文レビュー] Winner Takes It All: Training Performant RL Populations for Combinatorial Optimization

Nathan Grinsztajn, Daniel Furelos-Blanco+3 more|arXiv (Cornell University)|Oct 7, 2022

Vehicle Routing Optimization Methods被引用数 6

ひとこと要約

この論文では、パフォーマンス駆動の目的関数により、異なる問題インスタンスに特化する補完的で相互に補い合うポリシーの集合を学習する強化学習手法Poppyを紹介する。各インスタンスで最もパフォーマンスの良いエージェントのみを訓練中に最適化することで、明示的な多様性の監視なしにTSP、CVRP、0-1ナップサック問題、ジョブショップスケジューリングにおいて最先端の結果を達成する。

ABSTRACT

Applying reinforcement learning (RL) to combinatorial optimization problems is attractive as it removes the need for expert knowledge or pre-solved instances. However, it is unrealistic to expect an agent to solve these (often NP-)hard problems in a single shot at inference due to their inherent complexity. Thus, leading approaches often implement additional search strategies, from stochastic sampling and beam search to explicit fine-tuning. In this paper, we argue for the benefits of learning a population of complementary policies, which can be simultaneously rolled out at inference. To this end, we introduce Poppy, a simple training procedure for populations. Instead of relying on a predefined or hand-crafted notion of diversity, Poppy induces an unsupervised specialization targeted solely at maximizing the performance of the population. We show that Poppy produces a set of complementary policies, and obtains state-of-the-art RL results on four popular NP-hard problems: traveling salesman, capacitated vehicle routing, 0-1 knapsack, and job-shop scheduling.

研究の動機と目的

• NP-hardな組合せ最適化問題の解空間の複雑さに起因する単一エージェント強化学習の限界を克服すること。
• 構築ベースの強化学習手法における単一ポリシーのバイアスが、1つのヒューリスティック経路に限定された探索をもたらす問題を解消すること。
• 手動で設計された行動マーカーや外部監視に依存せずに、効果的なポリシー多様性を誘導するスケーラブルで効率的な訓練手順を開発すること。
• パフォーマンス駆動の特化が、複数のNP-hard問題において既存の強化学習ベースのソルバーを上回る補完的ポリシーを生成することを実証すること。

提案手法

• Poppyは共有のバックボーンネットワークを共有し、軽量なポリシーヘッドのみを特化させてエージェント集団を学習する。
• 各問題インスタンスで最高のパフォーマンスを達成するエージェントのみを訓練中に更新する、新しいポリシー勾配目的関数を用いる。
• 共有エンコーダと個別化されたポリシーヘッドを活用することで、集団全体での計算を効率化する。
• REINFORCEに状態価値ベースラインを適用し、JAXベースのJumanjiから得られる環境ダイナミクスを用いて効率的なシミュレーションを実現する。
• 明示的な行動正則化なしに、集団全体のパフォーマンスギャップに注目することで、多様性を暗黙的に促進する。
• 一貫したアーキテクチャとハイパーパrameterを用いて、TSP、CVRP、0-1ナップサック問題、ジョブショップスケジューリングの4つの問題に適用する。

実験結果

リサーチクエスチョン

• RQ1 パフォーマンス駆動の目的関数で学習されたエージェント集団は、組合せ最適化において単一エージェント手法よりも優れた一般化性能と解の質を達成できるか？
• RQ2 パフォーマンスに基づく訓練による暗黙の特化は、明示的な多様性制約なしに効果的で補完的なポリシーを生成できるか？
• RQ3 多様なNP-hard問題において、解の質と推論効率の観点から、Poppyは既存の強化学習ベースのソルバーと比べてどのように差をつけるか？
• RQ4 提案手法は大規模なインスタンスにスケーリング可能で、追加のサーチやファインチューニングなしに高い性能を維持できるか？

主な発見

• Poppyは、TSP、CVRP、0-1ナップサック問題、ジョブショップスケジューリングという4つのベンチマーク問題すべてで最先端のパフォーマンスを達成した。
• TSP1000では、16のトラジェクトリを用いたPoppyは71.7%の解のギャップを達成し、POMO（120%のギャップ）やEAS（114%のギャップ）を大きく上回った。
• 時間-パフォーマンストレードオフの分析において、Poppyはあらゆる設定でPOMOを常に上回り、Poppyの性能に達するためにサンプリングを増やすのはしばしば非現実的であることが示された。
• 0-1ナップサック問題では、単一のデコーダを事前学習せずに、集団をゼロから学習する方法が効果的かつ効率的であり、数分で完了した。
• 10x10のインスタンスに対してジョブショップスケジューリングで強い結果を達成し、Transformerベースのアクタークリティックアーキテクチャを用いてマケイスパンを最小化した。
• Poppyのパフォーマンスは問題サイズにかかわらず安定しており、手動で設計された多様性や探索ヒューリスティクスを必要とせず、集団レベルの目的関数にのみ依存している。