[논문 리뷰] Deep Inventory Management

Dhruv Madeka, Kari Torkkola외 4명|arXiv (Cornell University)|2022. 10. 06.

Supply Chain and Inventory Management인용 수 8

한 줄 요약

이 논문은 복잡한 실세계 조건—확률적 리드 타임, 손실 판매, 상관관계가 있는 수요, 가격 일치 조건—하에 주기적 리뷰 재고 관리에 대한 딥 강화학습 접근법인 DirectBackprop을 제안한다. 과거 데이터를 미분 가능한 시뮬레이터로 변환함으로써 모델 기반 강화학습을 가능하게 하여, 고전적인 뉴스베이어 정책과 모델 프리 강화학습을 모두 능가하며, 시뮬레이션 백테스트에서 23% 향상된 성능과 실제 운영에서 수익 손실 없이 12% 낮은 재고 수준을 달성한다.

ABSTRACT

This work provides a Deep Reinforcement Learning approach to solving a periodic review inventory control system with stochastic vendor lead times, lost sales, correlated demand, and price matching. While this dynamic program has historically been considered intractable, our results show that several policy learning approaches are competitive with or outperform classical methods. In order to train these algorithms, we develop novel techniques to convert historical data into a simulator. On the theoretical side, we present learnability results on a subclass of inventory control problems, where we provide a provable reduction of the reinforcement learning problem to that of supervised learning. On the algorithmic side, we present a model-based reinforcement learning procedure (Direct Backprop) to solve the periodic review inventory control problem by constructing a differentiable simulator. Under a variety of metrics Direct Backprop outperforms model-free RL and newsvendor baselines, in both simulations and real-world deployments.

연구 동기 및 목표

• 확률적 리드 타임, 손실 판매, 상관관계가 있는 수요, 외생적 가격 일치 조건 하에서 주기적 리뷰 재고 관리의 비가역성 문제를 해결하기 위해.
• 상태 동역학의 명시적 모델링이 필요 없이 과거 데이터를 시뮬레이터로 활용하는 방법을 개발하기 위해.
• 모든 재고 동역학(리드 타임, 수요, 가격 일치 포함)을 모델링할 수 있는 미분 가능한 시뮬레이터를 설계하여 백프로파게이션을 통한 엔드 투 엔드 정책 훈련을 가능하게 하기 위해.
• 10,000개 제품을 대상으로 한 시뮬레이션 환경과 대규모 실세계 운영에서의 경험적 검증을 수행하기 위해.
• 모델 기반 강화학습이 복잡한 재고 시스템에서 고전적 및 현대적 강화학습 기준보다 뛰어난 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• 저자들은 오프-폴리시 데이터와 캐서링 효과를 보정함으로써 과거 데이터를 시뮬레이터로 변환하여 재고 상태의 진화를 시뮬레이션할 수 있도록 한다.
• 리드 타임, 수요, 가격 일치를 포함한 전체 재고 동역학을 모델링할 수 있는 미분 가능한 시뮬레이터를 도입하여 기울기 기반 최적화를 가능하게 한다.
• 핵심 알고리즘인 DirectBackprop는 미분 가능한 시뮬레이터를 통해 직접 백프로파게이션을 수행함으로써 밸류 함수 근사 없이 정책 목표를 최적화한다.
• 이 방법은 상태 전이가 알려져 있고 미분 가능한 상호작용 결정 프로세스(IDP)로 재고 시스템을 간주한다.
• 손실 판매로 인한 관측되지 않은 수요와 캐서닝된 관측치를 보정하는 새로운 데이터 보정 기법을 도입하여 시뮬레이터의 정밀도를 향상시킨다.
• 이론적 학습 가능성 결과에 기반하여, 특정 조건 하에서는 강화학습 문제를 지도학습으로 환원할 수 있음을 보여주며, 이는 경험적 성공의 기반을 제공한다.

실험 결과

연구 질문

• RQ1 수요나 리드 타임 분포의 명시적 모델링 없이도 과거 데이터를 신뢰할 수 있고, 미분 가능한 시뮬레이터로 변환할 수 있는가?
• RQ2 미분 가능한 시뮬레이터를 갖춘 모델 기반 강화학습 접근법이 손실 판매와 확률적 리드 타임이 존재하는 재고 시스템에서 모델 프리 강화학습 및 고전적 뉴스베이어 정책을 능가하는가?
• RQ3 실세계 과거 데이터에서 캐서닝된 관측치와 오프-폴리시 행동이 존재하는 조건에서 딥 강화학습 정책이 효과적인 재고 전략을 학습할 수 있는 정도는 어느 정도인가?
• RQ4 DirectBackprop 알고리즘이 상관관계가 있는 수요와 외생적 가격 변화와 같은 실세계 복잡성에 대해 강건한가?
• RQ5 일부 재고 문제 하위 집합에 대해 이론적으로 입증된 학습 가능성 결과가 대규모 운영 환경에서 경험적으로 검증될 수 있는가?

주요 결과

• 시뮬레이션 백테스트에서 DirectBackprop 정책는 뉴스베이어 기준보다 보상 측면에서 23% 향상된 성능을 보이며, 현실적인 조건 하에서 뛰어난 성능을 입증했다.
• 26주 동안 10,000개 제품에 걸쳐 실세계 운영에서의 결과로, DirectBackprop 에이전트는 재고 수준을 12% 낮추었으며, 수익에 통계적으로 유의미한 차이가 없었다.
• DirectBackprop는 시뮬레이션과 실세계 설정에서 모두 모든 비오라클 정책을 능가했으며, 더 낮은 재고로 더 높은 보상을 유지했다.
• 미분 가능한 시뮬레이터 덕분에 수요나 리드 타임 분포의 명시적 모델링이 필요 없었으며, 파rametric 가정에 대한 의존도가 감소했다.
• 이 방법은 상관관계가 있는 수요, 확률적 리드 타임, 가격 일치를 성공적으로 처리했으며, 이는 고전적 동적 프로그래밍 접근법이 실패하는 요소들이다.
• 이론적 결과는 특정 조건 하에서는 강화학습 문제를 지도학습으로 환원할 수 있음을 보여주며, 경험적 성공의 기초를 제공한다.