[論文レビュー] OR-Gym: A Reinforcement Learning Library for Operations Research Problem.

Christian D. Hubbs, Héctor D. Pérez+4 more|arXiv (Cornell University)|Aug 14, 2020

Scheduling and Optimization Algorithms参考文献 46被引用数 22

ひとこと要約

OR-Gym は、ナップサック問題、ビンパッキング問題、サプライチェーン管理、資産配分といった古典的なオペレーションズリサーチ（OR）問題を強化学習（RL）環境に再定式化するオープンソースの強化学習ライブラリである。MILPおよびヒューリスティック手法と比較してRLエージェントの性能をベンチマークすることで、本研究は工業的OR問題におけるRLの実用可能性を示し、ORコミュニティとRLコミュニティの両方にとって新たなツールを提供する。

ABSTRACT

Reinforcement learning (RL) has been widely applied to game-playing and surpassed the best human-level performance in many domains, yet there are few use-cases in industrial or commercial settings. We introduce OR-Gym, an open-source library for developing reinforcement learning algorithms to address operations research problems. In this paper, we apply reinforcement learning to the knapsack, multi-dimensional bin packing, multi-echelon supply chain, and multi-period asset allocation model problems, as well as benchmark the RL solutions against MILP and heuristic models. These problems are used in logistics, finance, engineering, and are common in many business operation settings. We develop environments based on prototypical models in the literature and implement various optimization and heuristic models in order to benchmark the RL results. By re-framing a series of classic optimization problems as RL tasks, we seek to provide a new tool for the operations research community, while also opening those in the RL community to many of the problems and challenges in the OR field.

研究の動機と目的

• 古典的なOR問題を統一的なフレームワークとして解くことにより、強化学習とオペレーションズリサーチを橋渡しすること。
• 文献に登場する代表的なモデルに基づいた標準化されたRL環境の開発。
• 伝統的なMILPおよびヒューリスティック最適化手法と比較して、RLのパフォーマンスをベンチマークすること。
• 実世界の産業的・商業的OR設定においてRLが実用可能であることを示すこと。
• RLコミュニティとORコミュニティの間でのクロスディシプリナリー研究を可能にするツールの提供。

提案手法

• ナップサック問題、多次元ビンパッキング問題、マルチエッチロンサプライチェーン問題、マルチペリオド資産配分問題といった古典的OR問題を、マーカフ決定過程（MDP）として再定式化。
• 実際の運用制約と目的を再現できるように、OR-Gymフレームワーク内にカスタムRL環境を設計。
• 性能比較のため、混合整数線形プログラミング（MILP）およびヒューリスティック手法を用いてベースラインソリューションを実装。
• 定義された環境上で、標準的なアルゴリズム（例：PPO、DQN）を用いて深層強化学習エージェントを訓練。
• 複雑な組み合わせ最適化設定における学習を支援するため、スパarsな報酬関数と形状報酬関数を用いた。
• 解の質、収束速度、入力の変動に対するロバストネスといった複数の指標でエージェントを評価。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、ナップサック問題やビンパッキング問題といった古典的OR問題を効果的に解くことができるか？
• RQ2 マルチエッチロンサプライチェーン問題およびマルチペリオド資産配分タスクにおいて、RLのパフォーマンスはMILPおよびヒューリスティック手法と比べてどうか？
• RQ3 産業的OR問題へのRLの適用における主な課題は何か。それらは環境設計によってどのように軽減できるか？
• RQ4 OR設定において、異なる問題インスタンスやパrameterの変動に対してRLは一般化可能か？
• RQ5 報酬形状化は、OR関連のRLタスクにおけるサンプル効率および解の質を向上させる役割を果たすか？

主な発見

• ナップサック問題およびビンパッキング問題の小規模～中規模インスタンスにおいて、RLエージェントはMILPと同等の解の質を達成した。
• マルチエッチロンサプライチェーン問題では、需要パターンの変化にかかわらず、コスト削減およびスケーラビリティの面でヒューリスティックベースラインを上回った。
• マルチペリオド資産配分においては、動的な市場環境下でもRLエージェントが安定したパフォーマンスを示し、しばしばヒューリスティックベンチマークを上回った。
• 報酬形状化は、複雑で高次元のOR環境における学習の安定性および収束速度を顕著に改善した。
• OR-Gymフレームワークにより、多様なOR問題およびRLアルゴリズム間で一貫したベンチマークと再現性が実現された。