[論文レビュー] Constrained Combinatorial Optimization with Reinforcement Learning

Rubén Solozabal, Josu Ceberio+1 more|arXiv (Cornell University)|Jun 22, 2020

Scheduling and Optimization Algorithms参考文献 34被引用数 14

ひとこと要約

本稿では、完全に観測可能な制約付きマルコフ決定過程（CMDP）として問題をモデル化することにより、制約付き組合せ最適化のための強化学習フレームワークを提案する。罰則信号がエージェントに実行可能解への到達を導く。この手法は、古典的ヒューリスティクス、メタヒューリスティクス、および OR-Tools の CP-SAT ソルバーよりも優れたリアルタイムの解品質を達成しており、特に正確なソルバーが非効率になる大規模または複雑なインスタンスにおいて顕著である。

ABSTRACT

This paper presents a framework to tackle constrained combinatorial optimization problems using deep Reinforcement Learning (RL). To this end, we extend the Neural Combinatorial Optimization (NCO) theory in order to deal with constraints in its formulation. Notably, we propose defining constrained combinatorial problems as fully observable Constrained Markov Decision Processes (CMDP). In that context, the solution is iteratively constructed based on interactions with the environment. The model, in addition to the reward signal, relies on penalty signals generated from constraint dissatisfaction to infer a policy that acts as a heuristic algorithm. Moreover, having access to the complete state representation during the optimization process allows us to rely on memory-less architectures, enhancing the results obtained in previous sequence-to-sequence approaches. Conducted experiments on the constrained Job Shop and Resource Allocation problems prove the superiority of the proposal for computing rapid solutions when compared to classical heuristic, metaheuristic, and Constraint Programming (CP) solvers.

研究の動機と目的

• 一般の制約付き組合せ最適化問題、特にマスク不能な制約を含む問題に対し、ニューラル組合せ最適化（NCO）を拡張すること。
• 中間状態表現を用いて逐次的に解を構築する強化学習アプローチを開発し、解の品質を向上させること。
• 正確なソルバーが遅すぎて使えない大規模問題に対して、迅速かつ近似的に最適な解を得ること。
• ジョブショップスケジューリングやバーチャルリソース割り当てといった実世界のオペレーションズリサーチ問題において、手法の頑健性とスケーラビリティを示すこと。

提案手法

• 制約付き組合せ最適化問題を完全に観測可能な制約付きマルコフ決定過程（CMDP）として定式化し、中間状態に基づく逐次的意思決定を可能にする。
• 罰則係数を用いて制約違反を報酬関数に統合し、行動空間のマスクを必要とせずに実行可能方策を学習できるようにする。
• ポ인터ネットワークまたはトランスフォーマーに基づくアーキテクチャを用い、状態依存の行動選択を重視して行動の系列として解を生成する。
• アクター・クリティック強化学習設定を用いてポリシーを訓練し、クリティックが価値関数を推定し、アクターが累積報酬と罰則に基づいてポリシーを更新する。
• 完全な状態観測性を活用して記憶ベースのアーキテクチャを回避し、系列対系列モデルよりも一般化性能と性能を向上させる。
• カリキュラム学習およびサンプリング戦略（例：RL_S(40)）を適用し、学習の安定化と解の品質向上を図る。

実験結果

リサーチクエスチョン

• RQ1 マスク可能な制約を超えた一般の制約付き組合せ最適化問題に、強化学習を効果的に適用できるか？
• RQ2 行動空間のマスクと比較して、報酬関数に罰則信号を組み込むことで、解の品質と実行可能性はどのように変化するか？
• RQ3 CMDP 上で学習した深層強化学習モデルは、リアルタイムの解生成において古典的ヒューリスティクスおよびCPソルバーを上回れるか？
• RQ4 問題サイズおよび制約の複雑さの増加に伴い、モデルの性能はどのように変化するか？
• RQ5 構造的特性が異なる多様な問題インスタンスに、モデルはどの程度一般化できるか？

主な発見

• ジョブショップスケジューリングおよびバーチャルリソース割り当て問題の両方において、RL モデルは古典的ヒューリスティクスおよびメタヒューリスティクスを上回り、より低い最適性ギャップを達成した。
• JSP10x10 および JSP15x15 において、RL_S(40) の変種は、他のすべてのヒューリスティクスおよびメタヒューリスティクスを上回ったが、OR-Tools の CP-SAT ソルバーには及ばなかった。
• JSP25x25 においては、OR-Tools ソルバは、同等の解品質に到達するまでに著しく長い時間を要した（桁違いに長かった）ため、RL モデルのリアルタイム性能の優位性が顕著に現れた。
• バーチャルリソース割り当て問題においては、RL モデルは常に最適解に近い割り当てを生成し、遺伝的アルゴリズムを上回り、大規模インスタンスでは CP-SAT と同等またはそれを上回る性能を示した。
• モデルは、異なる問題インスタンス間で解の品質のばらつきが小さく、安定した一般化性能を示した。
• 問題サイズの変化にわたって良好な一般化を示したが、インスタンスがより大きくなるにつれて性能ギャップが拡大したため、スケーラビリティは依然として課題であると示唆された。