[論文レビュー] Reinforcement Learning to Solve NP-hard Problems: an Application to the CVRP

Leo Ardon|arXiv (Cornell University)|Jan 14, 2022

Vehicle Routing Optimization Methods被引用数 6

ひとこと要約

この論文は、深層強化学習（DRL）を用いてNP困難な容量制約付き車両巡回問題（CVRP）を解く。Transformerベースの方策ネットワークをREINFORCEを用いて訓練し、逐次的に解を生成する。最良の既知の解に匹敵しないものの、従来のソルバーよりも10倍速く近似的に最適な結果を達成でき、未学習のインスタンスに対しても迅速な推論が可能であり、リアルタイムの商業的応用への強い可能性を示している。

ABSTRACT

In this paper, we evaluate the use of Reinforcement Learning (RL) to solve a classic combinatorial optimization problem: the Capacitated Vehicle Routing Problem (CVRP). We formalize this problem in the RL framework and compare two of the most promising RL approaches with traditional solving techniques on a set of benchmark instances. We measure the different approaches with the quality of the solution returned and the time required to return it. We found that despite not returning the best solution, the RL approach has many advantages over traditional solvers. First, the versatility of the framework allows the resolution of more complex combinatorial problems. Moreover, instead of trying to solve a specific instance of the problem, the RL algorithm learns the skills required to solve the problem. The trained policy can then quasi instantly provide a solution to an unseen problem without having to solve it from scratch. Finally, the use of trained models makes the RL solver by far the fastest, and therefore make this approach more suited for commercial use where the user experience is paramount. Techniques like Knowledge Transfer can also be used to improve the training efficiency of the algorithm and help solve bigger and more complex problems.

研究の動機と目的

• NP困難な組合せ最適化問題を解くためのスケーラブルで一般化可能な代替手法として、深層強化学習を評価すること。
• CVRP、すなわち古典的で計算的に困難なルーティング問題におけるDRLのパフォーマンスを評価すること。
• 解の質、推論速度、学習効率の観点から、RLベースのソリューションと確立されたソルバ（例：LKH3）を比較すること。
• 特にTSP方策の再利用を含む知識転送技術を活用し、問題インスタンス全体にわたる学習の高速化と一般化の向上を検討すること。
• 手動で設計されたルールなしに、RLが有効なヒューリスティクスを自動で学習し、未学習の問題インスタンスに一般化できるかどうかを調査すること。

提案手法

• エージェントが現在の状態に基づいて次に訪問する顧客を選択するという形式の、強化学習フレームワーク内でのCVRPの順序的意思決定問題としての定式化。
• 複数のヘッドアテンションを備えたTransformerベースのニューラルネットワークを用い、顧客の位置の置換不変な表現を可能にする、車両ルーティング環境の状態を符号化する。
• 期待報酬（すなわち、総ルートコストの最小化）を最大化する目的で、方策勾配を用いたREINFORCEアルゴリズムにより方策ネットワークを訓練する。
• 事前学習済みTSP方策を用いた知識転送を適用し、CVRPインスタンスにおける学習時間の短縮と収束の改善を実現する。
• 運用時における推論にはビームサーチ戦略を用い、訓練済み方策から高品質な解を迅速に生成する。
• 解のコスト、最適解とのギャップ、推論時間といった指標を用いて、標準ベンチマークインスタンス（例：CMT1, CMT2）上でパフォーマンスを評価する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、手動で設計されたルールなしにCVRPの有効なヒューリスティクスを学習できるか。また、その解の質は従来のソルバーよりもどう異なるか。
• RQ2 LKH3などの正確かつヒューリスティックな手法と比較して、RLベースのソルバの推論速度は、特に未学習の問題インスタンスにおいてどうなるか。
• RQ3 事前学習済みTSP方策からの知識転送は、より複雑なCVRPにおける学習効率と解の質をどの程度向上できるか。
• RQ4 再訓練なしに、RL方策は新しい未学習のCVRPインスタンスにうまく一般化できるか。また、解をどのくらいの速さで生成できるか。
• RQ5 MILPベースのアプローチに比べ、RLフレームワークは、確率的需要や時間窓を伴うようなより複雑なVRPの変種を、より自然に扱えるか。

主な発見

• CMT1ベンチマーク（n=50, Q=160）では、平均コストが531.9で、最適解とのギャップが1.4%に留まり、最良の既知のヒューリスティクスと同等の性能を示した。
• 最適解に匹敵しないものの、LKH3ヒューリスティックソルバが1分以上を要するのに対し、RLモデルは10倍以上速く近似的に最適な解を生成した。
• 事前学習済みTSP方策を用いた知識転送により、学習時間の短縮と収束の改善が達成され、CMT1における解の質（1.4%ギャップ）は一般学習アプローチと同等であった。
• 訓練済みのRL方策は効果的に一般化可能である。再訓練なしに、新しい未学習のCVRPインスタンスに対し、ほぼ即座の時間で高品質な解を生成できる。
• RLフレームワークは、従来の手法よりも本質的に柔軟性とスケーラビリティに優れており、低遅延応答が求められる実世界の応用への迅速な展開が可能である。
• 本手法は、確率的需要などの動的または不確実なパラメータを伴う複雑なVRPの変種を解く可能性を示しており、標準的なMILP定式化では難しい問題に対しても有効である。