[논문 리뷰] Deep Controlled Learning for Inventory Control

Temizöz, Tarkan, Imdahl, Christina외 3명|arXiv (Cornell University)|2020. 11. 30.

Supply Chain and Inventory Management인용 수 5

한 줄 요약

이 논문은 고도로 확률적인 특성을 지닌 재고 제어 문제에 특화된 새로운 딥 강화학습 프레임워크인 딥 제어 학습(DCL)을 소개한다. 공통 난수(CRN)를 활용한 순차적 할빙(Sequential Halving)을 통합하여 시뮬레이션 기반 행동 평가의 효율성을 높임으로써, 최첨단 휠러리즘 및 표준 DRL 알고리즘보다 뛰어난 성능을 달성하며, 실재하는 재고 시스템(소실 판매, 부패성 재고, 랜덤 리드 타임 포함) 전반에서 최적성 갭이 0.1% 이내로 유지된다.

ABSTRACT

The application of Deep Reinforcement Learning (DRL) to inventory management is an emerging field. However, traditional DRL algorithms, originally developed for diverse domains such as game-playing and robotics, may not be well-suited for the specific challenges posed by inventory management. Consequently, these algorithms often fail to outperform established heuristics; for instance, no existing DRL approach consistently surpasses the capped base-stock policy in lost sales inventory control. This highlights a critical gap in the practical application of DRL to inventory management: the highly stochastic nature of inventory problems requires tailored solutions. In response, we propose Deep Controlled Learning (DCL), a new DRL algorithm designed for highly stochastic problems. DCL is based on approximate policy iteration and incorporates an efficient simulation mechanism, combining Sequential Halving with Common Random Numbers. Our numerical studies demonstrate that DCL consistently outperforms state-of-the-art heuristics and DRL algorithms across various inventory settings, including lost sales, perishable inventory systems, and inventory systems with random lead times. DCL achieves lower average costs in all test cases while maintaining an optimality gap of no more than 0.2\%. Remarkably, this performance is achieved using the same hyperparameter set across all experiments, underscoring the robustness and generalizability of our approach. These findings contribute to the ongoing exploration of tailored DRL algorithms for inventory management, providing a foundation for further research and practical application in this area.

연구 동기 및 목표

• 일반적인 DRL 알고리즘의 고도로 확률적인 재고 제어 문제, 특히 수요와 리드 타임과 같은 외생적 불확실성을 포함한 문제에서의 한계를 해결하기 위해.
• 외생적 불확실성이 존재하는 입력 기반 MDPs(MDP-EI)에 특화된 DRL 프레임워크를 개발하기 위해. 이러한 MDP는 재고 시스템에서 흔히 나타나며 통제할 수 없는 확률적 특성을 지닌다.
• 외생적 시나리오 간의 비용 비교에서 분산을 줄이고 자원 할당을 최적화하여 행동 평가의 시뮬레이션 효율성을 향상시키기 위해.
• 다양한 재고 제어 문제에 걸쳐 일관된 성능을 달성할 수 있는 단일 하이퍼파ram터 설정이 가능함을 입증하여, 강건성과 일반화 능력을 확보하기 위해.
• 맞춤형 DRL 알고리즘이 실제 재고 응용 분야에서 기존의 휠러리즘과 표준 DRL 방법을 능가할 수 있는지 규명하기 위해.

제안 방법

• DCL는 근사 정책 반복 기반으로 구축되며, 고차원 상태 공간에서 정책과 가치 함수를 신경망을 통해 표현한다.
• 비용 추정의 분산을 최소화하여 다수의 후보 행동 중 최적의 행동을 효율적으로 식별하기 위해, 공통 난수(CRN)를 활용한 순차적 할빙(Sequential Halving)을 적용한다.
• 공통 난수는 행동 간 비용 비교의 분산을 감소시켜, 더 적은 시뮬레이션 샘플 수로도 더 정확하고 신뢰할 수 있는 행동 선택을 가능하게 한다.
• 성능 추정치에 기반해 유망한 행동에 시뮬레이션 자원을 동적으로 할당함으로써, 효율성과 수렴 속도를 향상시킨다.
• 각 상태당 시뮬레이션 예산을 정의하며, 총 예산 $ B_{\mathbf{s}} = \mathcal{A}_{s} \cdot M $ 로 표현되며, 여기서 $ M $ 은 외생적 시나리오의 수이다.
• 다양한 확률적 시나리오 하에서의 기대 비용 추정을 통해 행동을 평가함으로써, 수요와 리드 타임의 불확실성에 강건한 성능을 확보한다.

실험 결과

연구 질문

• RQ1 재고 제어 문제에 특화된 DRL 프레임워크가 일반 목적의 DRL 알고리즘과 기존의 휠러리즘을 능가할 수 있는가?
• RQ2 공통 난수와 순차적 할빙의 사용이 고도로 확률적인 재고 MDP에서 시뮬레이션 효율성과 행동 선택 정확도를 얼마나 향상시키는가?
• RQ3 제안된 DCL 프레임워크는 소실 판매, 부패성 재고, 랜덤 리드 타임을 포함한 다양한 재고 제어 문제에 대해 얼마나 강건한가?
• RQ4 공통 난수(CRN) 없이 균일한 자원 할당 전략을 사용할 경우, DCL 성능을 달성하기 위해 필요한 시뮬레이션 예산은 얼마나 되는가?
• RQ5 단일 하이퍼파ram터 설정이 서로 다른 구조를 지닌 여러 재고 시스템 전반에서 일관되고 높은 성능을 달성할 수 있는가?

주요 결과

• DCL는 소실 판매 재고 제어, 부패성 재고 시스템, 랜덤 리드 타임이 존재하는 시스템에서 최첨단 휠러리즘을 능가하며, 평균 비용을 낮춘다.
• 모든 테스트된 재고 제어 문제에서 DCL의 최적성 갭은 일관되게 0.1% 이내로 유지되어 거의 최적의 성능을 나타낸다.
• 동일한 하이퍼파ram터 설정이 모든 문제 유형에서 높은 성능을 달성함으로써 강건성과 일반화 능력이 뛰어나다는 것을 입증한다.
• 공통 난수(CRN) 사용은 비용 비교의 분산을 감소시켜, 더 적은 시뮬레이션 샘플로도 행동 선택의 정확도를 크게 향상시킨다.
• CRN 없이 순차적 할빙을 적용하지 않을 경우, DCL 0은 최적 행동을 식별하기 위해 DCL 성능을 달성하기 위해 100배 이상 더 많은 시뮬레이션 샘플이 필요하다.
• CRN를 사용한 순차적 할빙은 균일한 자원 할당 또는 CRN 없이 사용하는 것에 비해 최적 행동의 정확한 분류율을 최대 10% 향상시킨다.