[論文レビュー] OR-Gym: A Reinforcement Learning Library for Operations Research Problems

Christian D. Hubbs, Héctor D. Pérez+4 more|arXiv (Cornell University)|Aug 14, 2020

Scheduling and Optimization Algorithms被引用数 26

ひとこと要約

OR-Gym は、ナップサック問題、ビンパッキング、サプライチェーン管理、ポートフォリオ最適化などの古典的オペレーションズリサーチ（OR）問題を強化学習（RL）用のマルコフ決定過程（MDP）に再定式化するオープンソースの強化学習（RL）ライブラリである。このライブラリは、RLエージェントをMILPおよびヒューリスティックモデルと比較してベンチマーク化しており、期待リターンにおいてRLがロバスト最適化を上回ることを示しているが、分散性が高く、著しく長い学習時間が必要となる。

ABSTRACT

Reinforcement learning (RL) has been widely applied to game-playing and surpassed the best human-level performance in many domains, yet there are few use-cases in industrial or commercial settings. We introduce OR-Gym, an open-source library for developing reinforcement learning algorithms to address operations research problems. In this paper, we apply reinforcement learning to the knapsack, multi-dimensional bin packing, multi-echelon supply chain, and multi-period asset allocation model problems, as well as benchmark the RL solutions against MILP and heuristic models. These problems are used in logistics, finance, engineering, and are common in many business operation settings. We develop environments based on prototypical models in the literature and implement various optimization and heuristic models in order to benchmark the RL results. By re-framing a series of classic optimization problems as RL tasks, we seek to provide a new tool for the operations research community, while also opening those in the RL community to many of the problems and challenges in the OR field.

研究の動機と目的

• オペレーションズリサーチ（OR）と強化学習（RL）の間のギャップを埋めるために、OR問題のための標準的かつアクセス可能なライブラリを構築すること。
• 研究者が多層階サプライチェーンや多期間資産配分といった実世界の産業最適化問題にRLを適用できるようにすること。
• 最適（MILP）、ヒューリスティック、RLの各ソリューションを備えたベンチマーク環境を提供し、異なる手法間の公平な比較を可能にすること。
• 数学的プログラミングによって従来処理されてきた制約付きの逐次的意思決定問題を解くために、RLの実現可能性とパフォーマンスを調査すること。
• RLと最適化モデルを組み合わせたハイブリッド手法を促進し、サンプル効率と解の品質を向上させること。

提案手法

• ナップサック、ビンパッキング、サプライチェーン、ポートフォリオ最適化などの古典的OR問題を、状態、行動、報酬の定義を持つマルコフ決定過程（MDP）に再定式化する。
• OpenAI Gym インターフェースを用いて環境を実装し、既存のRLフレームワークやRayを用いた分散学習との互換性を確保する。
• アクションマスクを適用して硬直的制約を強制し、無効な行動を防ぎ、学習中の探索空間を削減する。
• すべての問題クラスにおいて、ポリシー学習の主なRLアルゴリズムとして、プロキシマルポリシーオプティマイゼーション（PPO）を採用する。
• 最適解を得るため、MILPベンチマークをGurobi 8.2とPyomo 5.6.2を用いて解く。
• 標準的なRLライブラリの設定において、3層の全結合層（各128ユニット）を用い、学習率やエントロピー係数のハイパラメータチューニングを実施する。

実験結果

リサーチクエスチョン

• RQ1 強化学習（RL）は、多期間資産配分や多層階サプライチェーン管理といった古典的オペレーションズリサーチ（OR）問題を効果的に解けるか？
• RQ2 解の品質と計算コストの観点から、RLのパフォーマンスは、従来のMILPおよびヒューリスティックモデルと比べてどの程度か？
• RQ3 アクションマスクは、制約付きOR問題における学習の安定性とポリシー品質をどの程度向上させるか？
• RQ4 分散性が高く、学習時間が著しく長いにもかかわらず、期待リターンにおいてRLはロバスト最適化を上回るか？
• RQ5 RLポリシーは、実行可能なヒューリスティクスを抽出するのや、ハイブリッド最適化-RLフレームワークを支援するのに利用できるか？

主な発見

• 多期間資産配分において、RLポリシーは1,000回のシミュレーションで平均して約865ドルのポートフォリオ価値を達成し、期待リターンにおいてロバスト最適化（RO）ポリシーを上回った。
• ロバスト最適化ポリシーは、パrameter空間の99.7％において最小リターンが610.17ドルを保証するなど、著しく優れた最悪ケース性能を示した。
• 報酬が疎であるにもかかわらず、RLエージェントは高パフォーマンスのポリシーを効果的に学習した。これは、RLが不確実性下での複雑な逐次的意思決定を処理できることを示している。
• RLのポートフォリオリターンの分散は、ROポリシーに比べて著しく高かった。これは、下流リスクの保護が弱いことを示している。
• RLエージェントの学習には数時間の計算時間が必要だったが、ROソリューションは数分で得られた。これは、パフォーマンスと効率の間のトレードオフを示している。
• オフラインナップサック問題では、RLは既存のヒューリスティクスを上回らなかった。これは、解がよく知られており決定論的な問題に対してはRLが費用対効果に劣る可能性があることを示している。