[논문 리뷰] Reinforcement Learning for Multi-Product Multi-Node Inventory Management in Supply Chains

Nazneen N. Sultana, Hardik Meisheri외 4명|arXiv (Cornell University)|2020. 06. 07.

Supply Chain and Inventory ManagementBusiness, Management and Accounting참고 문헌 35인용 수 17

한 줄 요약

이 논문은 이원적 액터-크리틱(A2C) 알고리즘과 양자화된 행동 공간을 사용한 계층적 다중에이전트 강화학습(MARL) 프레임워크를 제안하여 공급망에서 대규모, 다중 제품, 다중 노드 재고 관리를 해결한다. 강화학습 접근법이 히우리스틱 방법을 능가하고, 전지적 성능에 가까이 다가가며, 신규 제품 및 신규 매장과 같은 동적 변화를 전이학습을 통해 처리함을 입증한다.

ABSTRACT

This paper describes the application of reinforcement learning (RL) to multi-product inventory management in supply chains. The problem description and solution are both adapted from a real-world business solution. The novelty of this problem with respect to supply chain literature is (i) we consider concurrent inventory management of a large number (50 to 1000) of products with shared capacity, (ii) we consider a multi-node supply chain consisting of a warehouse which supplies three stores, (iii) the warehouse, stores, and transportation from warehouse to stores have finite capacities, (iv) warehouse and store replenishment happen at different time scales and with realistic time lags, and (v) demand for products at the stores is stochastic. We describe a novel formulation in a multi-agent (hierarchical) reinforcement learning framework that can be used for parallelised decision-making, and use the advantage actor critic (A2C) algorithm with quantised action spaces to solve the problem. Experiments show that the proposed approach is able to handle a multi-objective reward comprised of maximising product sales and minimising wastage of perishable products.

연구 동기 및 목표

• 창고와 여러 매장 간 공유 용량이 존재하는 상황에서 50~1000개의 제품을 동시에 재고 관리하는 과제를 해결한다.
• 창고, 매장, 운송 수단에 유한한 용량이 존재하고, 확률적이고 시간 지연이 있는 재충전을 포함하는 실제 세계의 이계층 공급망을 모델링한다.
• 다른 시간 스케일과 노드 간을 조율하는 다중에이전트 강화학습을 활용해 확장 가능하고 병렬 처리가 가능한 의사결정 시스템을 개발한다.
• 전이학습을 통해 동적 확장성을 확보하여, 전체 재학습 없이도 새로운 제품과 새로운 매장을 처리할 수 있도록 한다.
• 판매 수익 극대화와 부패성 제품 폐기 최소화를 균형 잡은 다목적 보상 기능을 최적화한다.

제안 방법

• 창고와 매장을 독립된 에이전트로 간주하여 공급망을 계층적 다중에이전트 강화학습 문제로 공식화한다.
• 연속적인 재충전 결정을 이산 행동 단계로 처리하기 위해 양자화된 행동 공간을 사용한 이점 액터-크리틱(A2C) 알고리즘을 사용한다.
• 학습을 두 단계로 분해한다: 첫 번째로 창고 용량이 무한하다는 가정 하에 매장 에이전트를 학습하고, 두 번째로 누적된 매장 성능을 스칼라 보상의 일부로 사용하여 창고 에이전트를 학습한다.
• 환경 역학에 시간 지연 재충전과 유한한 용량(창고, 매장, 트럭)을 통합한다.
• 기존에 학습된 모델을 재사용하여 전이학습을 적용한다: 전체 재학습 없이도 새로운 제품이나 새로운 매장에 대해 정규화 통계를 미세조정한다.
• 부패성 제품의 판매 수익 극대화와 폐기 최소화를 통합한 다목적 보상 함수를 정의한다.

실험 결과

연구 질문

• RQ1 유한한 용량을 가진 공급망에서 다수의 제품과 노드 간에 재충전 결정을 효과적으로 조율할 수 있는 계층적 다중에이전트 RL 프레임워크는 얼마나 유능한가?
• RQ2 판매 및 폐기 측면에서 제안된 RL 접근법은 히우리스틱 정책과 전지적 오라클에 비해 얼마나 우수한가?
• RQ3 전이학습을 통해 RL 모델이 재학습 없이도 새로운 제품과 새로운 매장에 대해 얼마나 잘 일반화할 수 있는가?
• RQ4 학습된 정책은 재고 수준과 수요 예측 변화에 대해 다양한 제품 수(50, 220, 1000)에서 어떻게 반응하는가?
• RQ5 공유 트럭 용량과 확률적 수요와 같은 시스템 제약 조건 하에서도 RL 시스템은 성능을 유지할 수 있는가?

주요 결과

• 모든 50, 220, 1000개 제품 시나리오에서 RL 에이전트가 히우리스틱 정책을 모두 능가했으며, 히우리스틱 대비 창고에서 최대 46%, 매장에서 최대 40%의 성능 향상을 기록했다.
• 50개 제품의 경우, RL 모델은 창고에서 정규화된 성능 0.428, 매장에서 0.764~0.796를 달성했으며, 이는 히우리스틱(0.299~0.673)을 초월하고 전지적 정책(0.498~0.837)에 가까워졌다.
• 전이학습을 통해 창고 모델은 재학습 없이도 Store 1의 1.75배 용량을 가진 추가 매장(Store 4)을 처리했으며, 성능 0.446를 기록했다. 이는 히우리스틱(0.373)을 초월하고 전지적 성능(0.544)에 가까웠다.
• 1000개 제품으로 확장했을 때, RL 정책은 용량 제약로 인해 평균 재충전 요청량을 낮추었으며, 이는 대수의 법칙에 따른 현실적인 반응을 반영했다.
• 정책 히트맵 분석 결과, 재고가 낮고 수요 예측이 높을수록 재충전 행동이 증가하고, 재고가 증가하거나 수요 예측이 감소할수록 행동이 감소하는 경향을 보여, 직관적이고 안정적인 행동을 확인했다.
• 모델은 동적 변화에 대한 강건성을 입증했다: 아키텍처나 학습 방식의 변경 없이도 정규화 적응을 통해 새로운 제품과 새로운 매장에 원활하게 적응했다.