[论文解读] OR-Gym: A Reinforcement Learning Library for Operations Research Problems

Christian D. Hubbs, Héctor D. Pérez+4 more|arXiv (Cornell University)|Aug 14, 2020

Scheduling and Optimization Algorithms被引用 26

一句话总结

OR-Gym 是一个开源强化学习（RL）库，将经典的运筹学（OR）问题（如0-1背包问题、装箱问题、供应链管理及投资组合优化）重新构建成马尔可夫决策过程（MDP），以供RL训练。该库将RL智能体与混合整数线性规划（MILP）和启发式模型进行基准对比，结果显示RL在预期投资组合回报方面可超越鲁棒优化，但方差更高，且训练时间显著更长。

ABSTRACT

Reinforcement learning (RL) has been widely applied to game-playing and surpassed the best human-level performance in many domains, yet there are few use-cases in industrial or commercial settings. We introduce OR-Gym, an open-source library for developing reinforcement learning algorithms to address operations research problems. In this paper, we apply reinforcement learning to the knapsack, multi-dimensional bin packing, multi-echelon supply chain, and multi-period asset allocation model problems, as well as benchmark the RL solutions against MILP and heuristic models. These problems are used in logistics, finance, engineering, and are common in many business operation settings. We develop environments based on prototypical models in the literature and implement various optimization and heuristic models in order to benchmark the RL results. By re-framing a series of classic optimization problems as RL tasks, we seek to provide a new tool for the operations research community, while also opening those in the RL community to many of the problems and challenges in the OR field.

研究动机与目标

• 通过创建一个标准化、可访问的运筹学问题库，弥合强化学习（RL）与运筹学（OR）之间的差距。
• 使研究人员能够将RL应用于现实世界中的工业优化问题，如多级供应链和多期资产配置。
• 提供包含最优解（MILP）、启发式解和RL解的基准环境，以实现方法间的公平比较。
• 探索强化学习在解决传统上由数学规划处理的约束性、序列决策问题中的可行性与性能。
• 鼓励将RL与优化模型结合的混合方法，以提升样本效率和解的质量。

提出的方法

• 将经典运筹学问题（如0-1背包、装箱、供应链、投资组合优化）重新定义为马尔可夫决策过程（MDP），明确状态、动作和奖励的定义。
• 使用OpenAI Gym接口实现环境，以确保与现有RL框架和工具（如Ray）的兼容性，支持分布式训练。
• 应用动作掩码技术以强制执行硬性约束，防止无效动作，从而在训练过程中减少搜索空间。
• 在所有问题类别中，以近端策略优化（PPO）作为主要的RL算法进行策略学习。
• 使用Gurobi 8.2和Pyomo 5.6.2求解MILP基准，以获得用于比较的最优解。
• 在标准RL库设置下进行超参数调优（学习率、熵系数），模型采用三层全连接网络，每层128个神经元。

实验结果

研究问题

• RQ1 强化学习能否有效解决经典运筹学问题，如多期资产配置和多级供应链管理？
• RQ2 在解的质量和计算成本方面，RL与传统MILP和启发式模型相比表现如何？
• RQ3 在约束性运筹学问题中，动作掩码在多大程度上提升了训练稳定性和策略质量？
• RQ4 尽管方差更高且训练时间更长，强化学习是否在预期投资组合回报方面仍优于鲁棒优化？
• RQ5 强化学习策略能否用于提取可操作的启发式规则，或为混合优化-RL框架提供支持？

主要发现

• 在多期资产配置问题中，RL策略在1,000次模拟实例中平均获得约865美元的组合价值，优于鲁棒优化（RO）策略的预期回报。
• 鲁棒优化策略在最坏情况下的表现显著更优，保证在99.7%的参数空间下最低回报为610.17美元。
• 尽管奖励稀疏，RL智能体仍成功学习到高性能策略，表明RL能够处理不确定环境下的复杂序列决策问题。
• RL投资组合回报的方差远高于RO策略，表明其在下行风险保护方面表现较弱。
• 训练RL智能体耗时数小时，而RO解仅需数分钟即可计算完成，凸显了性能与效率之间的权衡。
• 在离线0-1背包问题中，RL未能超越成熟的启发式方法，表明对于已良好求解的确定性问题，RL可能不具备成本效益。