[논문 리뷰] OR-Gym: A Reinforcement Learning Library for Operations Research Problems

Christian D. Hubbs, Héctor D. Pérez외 4명|arXiv (Cornell University)|2020. 08. 14.

Scheduling and Optimization Algorithms인용 수 26

한 줄 요약

OR-Gym은 고전적인 운영 연구 문제—예를 들어 0-1 배낭 문제, 박스 정렬 문제, 공급망 관리, 포트폴리오 최적화—를 강화 학습을 위한 마르코프 결정 과정(MDP)으로 재구성하는 오픈소스 강화학습(RL) 라이브러리입니다. 이 라이브러리는 MILP 및 휴리스틱 모델과의 비교를 통해 RL 에이전트의 성능을 평가하며, 예상 포트폴리오 수익에서 강화 학습이 강건 최적화를 능가할 수 있음을 보여주지만, 변동성이 더 크고 훈련 시간이 훨씬 길다는 점을 확인합니다.

ABSTRACT

Reinforcement learning (RL) has been widely applied to game-playing and surpassed the best human-level performance in many domains, yet there are few use-cases in industrial or commercial settings. We introduce OR-Gym, an open-source library for developing reinforcement learning algorithms to address operations research problems. In this paper, we apply reinforcement learning to the knapsack, multi-dimensional bin packing, multi-echelon supply chain, and multi-period asset allocation model problems, as well as benchmark the RL solutions against MILP and heuristic models. These problems are used in logistics, finance, engineering, and are common in many business operation settings. We develop environments based on prototypical models in the literature and implement various optimization and heuristic models in order to benchmark the RL results. By re-framing a series of classic optimization problems as RL tasks, we seek to provide a new tool for the operations research community, while also opening those in the RL community to many of the problems and challenges in the OR field.

연구 동기 및 목표

• 운영 연구(OR)와 강화 학습(RL) 간 격차를 해소하기 위해, OR 문제를 위한 표준화되고 접근 가능한 라이브러리를 구축함으로써.
• 연구자들이 다수의 계층 공급망 및 다기간 자산 배분과 같은 실제 산업 최적화 문제에 RL을 적용할 수 있도록 함으로써.
• 정확한(MILP), 휴리스틱, RL 솔루션을 포함한 벤치마크 환경을 제공하여 다양한 방법 간 공정한 비교를 가능하게 함으로써.
• 기존에 수학적 프로그래밍으로 다뤄지는 제약 조건이 있는 순차적 의사결정 문제 해결에 대해 RL의 타당성과 성능을 탐색함으로써.
• 샘플 효율성과 해의 품질을 향상시키기 위해 RL과 최적화 모델을 융합한 하이브리드 접근 방식을 장려함으로써.

제안 방법

• 기존의 OR 문제(예: 배낭 문제, 박스 정렬 문제, 공급망, 포트폴리오 최적화)를 상태, 행동, 보상 정의를 포함한 마르코프 결정 과정(MDP)으로 재구성함으로써.
• 기존 RL 프레임워크 및 Ray를 이용한 분산 훈련과의 호환성을 확보하기 위해 OpenAI Gym 인터페이스를 사용하여 환경을 구현함으로써.
• 행동 마스킹을 적용하여 하드 제약 조건을 강제로 이행함으로써, 잘못된 행동을 방지하고 훈련 중 탐색 공간을 줄임으로써.
• 모든 문제 유형에서 정책 학습을 위해 주로 Proximal Policy Optimization(PPO) 알고리즘을 사용함으로써.
• 비교를 위한 최적 해를 확보하기 위해 Gurobi 8.2와 Pyomo 5.6.2를 사용하여 MILP 벤치마크를 해결함으로써.
• 표준 RL 라이브러리 설정에서 학습률, 엔트로피 계수 등의 초모수를 튜닝하며, 각각 128개의 뉴런을 가진 3개의 완전 연결층을 사용함으로써.

실험 결과

연구 질문

• RQ1 강화 학습이 다기간 자산 배분 및 다계층 공급망 관리와 같은 고전적인 운영 연구 문제를 효과적으로 해결할 수 있는가?
• RQ2 해결 품질과 계산 비용 측면에서 강화 학습의 성능이 전통적인 MILP 및 휴리스틱 모델과 비교해 어떻게 되는가?
• RQ3 행동 마스킹이 제약 조건이 있는 운영 연구 문제에서 훈련 안정성과 정책 품질 향상에 얼마나 기여하는가?
• RQ4 강화 학습이 변동성과 훨씬 긴 훈련 시간에도 불구하고 예상 포트폴리오 수익에서 강건 최적화를 능가하는가?
• RQ5 강화 학습 정책이 실용적인 휴리스틱을 추출하거나 하이브리드 최적화-강화 학습 프레임워크를 지원하는 데 사용될 수 있는가?

주요 결과

• 다기간 자산 배분 문제에서 RL 정책는 1,000개의 시뮬레이션 인스턴스 후 평균 포트폴리오 가치 약 $865를 달성하여 예상 수익에서 강건 최적화(RO) 정책를 능가함을 확인함.
• 강건 최적화 정책는 99.7%의 파rameter 공간에서 최소 수익 $610.17를 보장하여 극단적인 상황에서의 성능이 뚜렷이 뛰어남.
• 희박한 보상 조건에도 불구하고 RL 에이전트는 고성능 정책을 성공적으로 학습함으로써, 강화 학습이 불확실성 하에서 복잡한 순차적 의사결정 문제를 다룰 수 있음을 시사함.
• RL 포트폴리오 수익의 변동성은 RO 정책보다 상당히 높아, 하방 리스크 보호 능력이 떨어짐.
• RL 에이전트의 훈련에는 수 시간의 계산 자원이 소요되었고, 반면 RO 솔루션은 몇 분 내로 도출되었으며, 이는 성능와 효율성 사이의 상충 관계를 보여줌.
• 오프라인 배낭 문제에서는 RL이 기존의 잘 알려진 휴리스틱을 능가하지 못했으며, 이는 강화 학습이 잘 해결된 결정론적 문제에는 비용 효율적이지 않을 수 있음을 시사함.