[논문 리뷰] OR-Gym: A Reinforcement Learning Library for Operations Research Problem.

Christian D. Hubbs, Héctor D. Pérez외 4명|arXiv (Cornell University)|2020. 08. 14.

Scheduling and Optimization Algorithms참고 문헌 46인용 수 22

한 줄 요약

OR-Gym은 고전적인 운영 연구 문제—배낭 문제, 박스 정렬, 공급망 관리, 자산 배분 등—을 강화 학습 환경으로 재구성하는 오픈소스 강화 학습 라이브러리입니다. MILP 및 휴리스틱 방법과의 비교를 통해 연구는 강화 학습이 산업 분야의 운영 연구 문제에 실현 가능함을 보여주며, 운영 연구 및 강화 학습 공동체에 새로운 도구를 제공합니다.

ABSTRACT

Reinforcement learning (RL) has been widely applied to game-playing and surpassed the best human-level performance in many domains, yet there are few use-cases in industrial or commercial settings. We introduce OR-Gym, an open-source library for developing reinforcement learning algorithms to address operations research problems. In this paper, we apply reinforcement learning to the knapsack, multi-dimensional bin packing, multi-echelon supply chain, and multi-period asset allocation model problems, as well as benchmark the RL solutions against MILP and heuristic models. These problems are used in logistics, finance, engineering, and are common in many business operation settings. We develop environments based on prototypical models in the literature and implement various optimization and heuristic models in order to benchmark the RL results. By re-framing a series of classic optimization problems as RL tasks, we seek to provide a new tool for the operations research community, while also opening those in the RL community to many of the problems and challenges in the OR field.

연구 동기 및 목표

• 고전적인 운영 연구 문제를 해결하기 위한 통합 프레임워크를 구축함으로써 강화 학습과 운영 연구를 연결하는 것.
• 문헌에 기반한 대표적인 모델을 바탕으로 표준화된 강화 학습 환경을 개발하는 것.
• 伝통적인 MILP 및 휴리스틱 최적화 방법과의 성능 비교를 통해 강화 학습 성능을 평가하는 것.
• 실제 산업 및 상업적 운영 연구 환경에서 강화 학습의 실현 가능성을 입증하는 것.
• 강화 학습 및 운영 연구 공동체 간의 교차 분야 연구를 가능하게 하는 도구를 제공하는 것.

제안 방법

• 배낭 문제, 다차원 박스 정렬, 다단계 공급망, 다기간 자산 배분과 같은 고전적인 운영 연구 문제를 마르코프 결정 과정(MDP)으로 재구성하는 것.
• 실제 운영 제약 조건과 목표를 시뮬레이션할 수 있도록 OR-Gym 프레임워크 내에서 맞춤형 강화 학습 환경을 설계하는 것.
• 성능 비교를 위해 혼합정수선형계획법(MILP) 및 휴리스틱 방법을 사용하여 기준 솔루션을 구현하는 것.
• 정의된 환경에서 표준 알고리즘(PPO, DQN 등)을 사용해 딥 강화 학습 에이전트를 훈련하는 것.
• 복잡한 조합 최적화 환경에서 학습을 이끌기 위해 희소 보상 함수와 보상 형상화를 사용하는 것.
• 해결 품질, 수렴 속도, 입력 변동에 대한 내성 등 다양한 지표를 기반으로 에이전트를 평가하는 것.

실험 결과

연구 질문

• RQ1 강화 학습은 배낭 문제 및 박스 정렬 문제와 같은 고전적인 운영 연구 문제를 효과적으로 해결할 수 있는가?
• RQ2 다단계 공급망 및 다기간 자산 배분 작업에서 강화 학습 성능은 MILP 및 휴리스틱 방법과 비교해 어떻게 되는가?
• RQ3 산업 분야의 운영 연구 문제에 강화 학습을 적용할 때 발생하는 주요 과제는 무엇이며, 환경 설계를 통해 이를 어떻게 완화할 수 있는가?
• RQ4 강화 학습은 운영 연구 환경에서 다양한 문제 인스턴스와 파rameter 변화에 대해 일반화할 수 있는가?
• RQ5 보상 형상화는 운영 연구 관련 강화 학습 작업에서 샘플 효율성과 해결 품질 향상에 어떤 역할을 하는가?

주요 결과

• 배낭 문제 및 박스 정렬 문제의 소형 및 중형 인스턴스에서, 강화 학습 에이전트는 MILP와 경쟁 가능한 해결 품질을 달성했다.
• 다단계 공급망 문제에서는 강화 학습이 비용 절감 및 다양한 수요 패턴에서의 확장성 측면에서 휴리스틱 기준선을 초월했다.
• 다기간 자산 배분 문제에서는 강화 학습 에이전트가 동적인 시장 조건에서도 뛰어난 성능을 보였으며, 일반적으로 휴리스틱 기준선을 충족하거나 초월했다.
• 보상 형상화는 복잡하고 고차원적인 운영 연구 환경에서 훈련의 안정성과 수렴 속도를 크게 향상시켰다.
• OR-Gym 프레임워크는 다양한 운영 연구 문제와 강화 학습 알고리즘 간의 일관된 벤치마킹과 재현 가능성을 가능하게 했다.