[논문 리뷰] Simultaneous Decision Making for Stochastic Multi-echelon Inventory Optimization with Deep Neural Networks as Decision Makers

Mohammad Pirhooshyaran, Lawrence Snyder|arXiv (Cornell University)|2020. 06. 09.

Supply Chain and Inventory Management인용 수 7

한 줄 요약

이 논문은 일반적인 구조를 가진 스토케스틱 다계층 공급망에서 주문을 보충하는 수준(OULs)을 최적화하기 위해 딥 신경망(DNNs)을 공동 决策자로 사용하는 딥 강화학습 프레임워크를 제안한다. DNNs는 모든 공급망 경로에서 동시에 환경과 상호작용하는 방식으로 훈련되어, 베이지안 최적화 방법보다 훨씬 적은 환경 상호작용으로 근사 최적 성능를 달성하며, 비선형 비용과 임의의 수요 분포를 가진 복잡한 네트워크에서도 효과적이다.

ABSTRACT

We propose a framework that uses deep neural networks (DNN) to optimize inventory decisions in complex multi-echelon supply chains. We first introduce pairwise modeling of general stochastic multi-echelon inventory optimization (SMEIO). Then, we present a framework which uses DNN agents to directly determine order-up-to levels between any adjacent pair of nodes in the supply chain. Our model considers a finite horizon and accounts for the initial inventory conditions. Our method is suitable for a wide variety of supply chain networks, including general topologies that may contain both assembly and distribution nodes, and systems with nonlinear cost structures. We first numerically demonstrate the effectiveness of the method by showing that its solutions are close to the optimal solutions for single-node and serial supply chain networks, for which exact methods are available. Then, we investigate more general supply chain networks and find that the proposed method performs better in terms of both objective function values and the number of interactions with the environment compared to alternate methods.

연구 동기 및 목표

• 스토케스틱 수요와 유한한 수명 주기 조건 하에서 확장 가능하고 해석 가능한 다계층 재고 최적화 방법을 개발하기 위해.
• 행동 공간이나 상태 공간을 이산화하지 않고도 DNN 에이전트가 직접 해석 가능한 주문을 보충하는 수준(OULs)을 출력할 수 있도록 하기 위해.
• 기존 정확한 방법으로는 해석이 불가능한 복잡한 공급망 네트워크에서 이 방법의 효과성을 입증하기 위해.
• 비용, 수렴 속도, 환경 상호작용 효율성 측면에서 DNN 기반 접근법을 DFO 및 Spearmint와 같은 대안 최적화 방법과 비교하기 위해.
• 연속형 및 이산형 수요 분포, 다양한 비용 구조에서의 프레임워크의 안정성과 일반화 능력을 검증하기 위해.

제안 방법

• 프레임워크는 각 공급망 경로를 별도의 DNN 에이전트로 모델링하여 해당 링크의 OUL을 결정하도록 한다.
• 각 DNN 에이전트는 유한 수명 주기 환경 설정에서 공급망 네트워크(환경)와 상호작용하며, 총 시스템 비용을 최소화하기 위해 강화학습을 통해 학습한다.
• 이 방법은 쌍별 모델링 접근법을 사용하여, 각 DNN이 지역적 상태 정보(재고 수준, 수요 분포, 리드 타임 등)를 기반으로 전역적 결정을 내리도록 한다.
• DNNs는 정책 기반 강화학습 방법을 사용하여 이산화 없이도 연속적인 행동 공간(OULs)을 다룰 수 있도록 한다.
• 훈련 과정은 리드 타임 수요 수준으로 초기화되어 안정 상태 조건을 근사하게 하며, 이는 무한 수명 주기 해석적 해와의 비교를 가능하게 한다.
• 이 프레임워크는 어셈블리 및 디스트리뷰션 노드를 포함한 일반적인 네트워크 구조를 지원하며, 비선형 비용 구조도 처리할 수 있다.

실험 결과

연구 질문

• RQ1 DNN 에이전트는 일반적인 다계층 공급망에서 여러 공급망 경로에 걸쳐 동시에 최적의 주문을 보충하는 수준을 학습할 수 있는가?
• RQ2 DNN 기반 방법은 전통적인 최적화 방법과 DFO, Spearmint과 같은 대안 베이지안 최적화 방법에 비해 비용과 수렴 효율성 측면에서 어떻게 비교되는가?
• RQ3 이 방법은 다양한 네트워크 구조, 수요 분포, 비용 구조에서 성능와 안정성을 유지하는가?
• RQ4 행동 공간이나 상태 공간을 이산화하지 않고도 DNNs가 해석 가능한 연속적 OULs를 얼마나 잘 학습할 수 있는가?
• RQ5 상류의 노드가 하류의 노드보다 훨씬 더 많은 안전 재고를 보유하는 복잡한 네트워크에서 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• 단일 노드 및 시리얼 공급망 네트워크에서 DNN 기반 방법은 최적 해의 1.5% 이내의 총 비용을 달성하여 높은 정확도를 입증했다.
• 복잡한 혼합 네트워크에서는 DNN 접근법이 DFO 방법 대비 평균 16.5%의 총 비용 절감을 이루었으며, 환경 상호작용 횟수도 크게 줄였다.
• 13개의 경로를 가진 복잡한 공급망 네트워크(SCN)에서 DNN 방법은 총 비용 478.61을 기록했고, DFO는 644.41, Spearmint은 618.44였으며, 이는 뛰어난 비용 성능을 보여주었다.
• DNN 방법은 수렴을 위해 500회 미만의 환경 상호작용만을 요구하여, 고전적 추적 기반 방법보다 계산 효율성이 뛰어났다.
• 상류 계층(예: 0 ←1)은 평균 수요의 두 배 이상의 OUL을 보유하고 있어, 복잡한 네트워크에서 효과적인 안전 재고 배분이 이루어졌음을 시사한다.
• 다양한 실행에서 안정적인 수렴을 보였으며, 시리얼 및 혼합 네트워크 구성 모두에서 일관된 학습 곡선과 손실 행동을 보였다.