[논문 리뷰] Comparing Deep Reinforcement Learning Algorithms in Two-Echelon Supply Chains

Francesco Stranieri, Fabio Stella|arXiv (Cornell University)|2022. 04. 20.

Supply Chain and Inventory Management참고 문헌 22인용 수 4

한 줄 요약

이 논문은 확률적이고 계절적인 수요를 고려한 이단계 공급망 재고 관리에 대해 사용자 정의가 가능하고 오픈소스인 딥 강화학습(DRL) 환경을 제안한다. 이 환경은 창고 및 제품 유형의 수를 임의로 설정할 수 있으며, 최신 DRL 알고리즘(PPO, A3C, VPG, BO)을 평가하여 PPO가 다른 알고리즘보다 뛰어나고, 특히 다수의 제품과 창고를 포함한 복잡한 구조에서 거의 오라클 수준의 성능을 기록함을 보여준다.

ABSTRACT

In this study, we analyze and compare the performance of state-of-the-art deep reinforcement learning algorithms for solving the supply chain inventory management problem. This complex sequential decision-making problem consists of determining the optimal quantity of products to be produced and shipped across different warehouses over a given time horizon. In particular, we present a mathematical formulation of a two-echelon supply chain environment with stochastic and seasonal demand, which allows managing an arbitrary number of warehouses and product types. Through a rich set of numerical experiments, we compare the performance of different deep reinforcement learning algorithms under various supply chain structures, topologies, demands, capacities, and costs. The results of the experimental plan indicate that deep reinforcement learning algorithms outperform traditional inventory management strategies, such as the static (s, Q)-policy. Furthermore, this study provides detailed insight into the design and development of an open-source software library that provides a customizable environment for solving the supply chain inventory management problem using a wide range of data-driven approaches.

연구 동기 및 목표

• 확률적이고 계절적인 수요를 고려한 이단계 공급망 재고 관리(SCIM)를 위한 유연하고 오픈소스인 DRL 환경을 설계하기.
• 다양한 공급망 구조, 제품 유형, 운영 설정에서 최신 DRL 알고리즘(PPO, A3C, VPG, BO)의 성능을 비교하기.
• DRL 성능을 데이터 기반의 (s, Q)-정책과 오라클 기준선과 비교하여 효과성과 최적성 갭을 평가하기.
• 오픈 과학 원칙에 따라 표준화된 Gym 호환 SCIM 환경을 공개함으로써 재현 가능한 연구를 가능하게 하기.

제안 방법

• 유한한 창고 용량, 확률적이고 계절적인 수요, 다수의 제품 유형을 고려한 이단계 SCIM 문제를 마르코프 결정 과정(MDP) 프레임워크를 사용해 수식화한다.
• DRL 에이전트의 상태, 행동, 보상 정의를 표준화하기 위해 OpenAI Gym 스타일의 API를 사용한 커스터마이징 가능하고 확장 가능한 환경을 구현한다.
• 네 가지 DRL 알고리즘을 적용: 근접 정책 최적화(PPO), 이점 액터-크리틱(A3C), 가치 정책 기울기(VPG), 베이지안 최적화(BO)를 하이퍼파라미터 튜닝에 사용한다.
• 배송 지연 및 재고 보관 비용에 대한 벌점과, 적시 배송 및 재고 효율성에 대한 보상이 포함된 수익 극대화 목표를 설정한다.
• 공정한 비교를 위해 (s, Q)-정책의 하이퍼파라미터를 데이터 기반 방법으로 튜닝한다.
• 창고 수, 제품 유형, 수요 패턴, 비용 구조를 변화시킨 15개의 구성(3개 시나리오 × 각각 5회 실험)에서 광범위한 실험을 수행한다.

실험 결과

연구 질문

• RQ1 다양한 이단계 공급망 구조와 구성에서 PPO, A3C, VPG, BO와 같은 다양한 DRL 알고리즘이 수익 극대화 측면에서 어떻게 성능을 내는가?
• RQ2 복잡하고 확률적이며 계절적인 SCIM 환경에서 DRL 에이전트는 전통적인 (s, Q)-정책을 얼마나 뛰어나게 성과를 내는가?
• RQ3 DRL 에이전트는 사전에 최적 행동을 알고 있는 오라클의 성능에 얼마나 가까이 도달하는가?
• RQ4 복잡도 증가(예: 더 많은 창고, 다수의 제품, 높은 수요 변동성)에 따라 DRL 알고리즘의 확장성과 견고성은 어떻게 변화하는가?

주요 결과

• PPO는 모든 시나리오에서 평균 수익이 가장 높았으며, 다른 DRL 알고리즘을 일관되게 능가했고, 오라클의 성능에 가장 가까이 도달했다.
• 1P1W 시나리오에서 BO는 거의 오라클 성능을 기록했지만(1226 ± 71 vs. 1474 ± 45), 다수의 제품이나 창고가 있는 더 복잡한 설정에서는 성능이 크게 떨어졌다.
• 1P3W 시나리오에서 PPO는 실험 4에서 1600 ± 62의 수익을 기록했고(오라클: 2046 ± 37), BO는 1633 ± 39에 머물렀다. 이는 PPO의 뛰어난 확장성과 관련이 있다.
• VPG는 안정적인 수렴를 보였지만 최적 성능에 못 미쳤으며, 창고 수가 증가함에 따라 국소 최대값에 갇히는 경향이 있었다.
• A3C와 VPG는 고복잡도 실험에서 성능이 열악했으며, 가장 도전적인 1P3W 실험에서 A3C는 음수 수익(−2142 ± 128)을 기록했다.
• (s, Q)-정책은 단기적이고 비적응형이지만, 일부 경우에서 A3C와 VPG를 능가했으며, 이는 특정 DRL 접근법이 복잡한 환경에서의 한계를 보여준다.