[논문 리뷰] E-commerce warehousing: learning a storage policy

Adrien Rimélé, Philippe Grangier외 3명|arXiv (Cornell University)|2021. 01. 21.

Advanced Manufacturing and Logistics Optimization참고 문헌 36인용 수 7

한 줄 요약

이 논문은 전자상거래 로봇 이동 보급 시스템(RMFS)에서 로봇 순환 시간을 최소화하기 위해 동적으로 선반 저장 할당을 최적화하는 딥 강화학습 접근법을 제안한다. 부분적으로 관찰 가능한 마르코프 결정 과정(POMDP)과 딥 Q-학습을 활용하여, 기존 정책 대비 최대 14% 향상된 이동 시간 효율성을 달성하며, 향후 주문 영향을 예측하는 룩어헤드 롤아웃 기법을 통합할 경우 최고의 기준선 대비 평균 7.58% 향상을 기록한다.

ABSTRACT

E-commerce with major online retailers is changing the way people consume. The goal of increasing delivery speed while remaining cost-effective poses significant new challenges for supply chains as they race to satisfy the growing and fast-changing demand. In this paper, we consider a warehouse with a Robotic Mobile Fulfillment System (RMFS), in which a fleet of robots stores and retrieves shelves of items and brings them to human pickers. To adapt to changing demand, uncertainty, and differentiated service (e.g., prime vs. regular), one can dynamically modify the storage allocation of a shelf. The objective is to define a dynamic storage policy to minimise the average cycle time used by the robots to fulfil requests. We propose formulating this system as a Partially Observable Markov Decision Process, and using a Deep Q-learning agent from Reinforcement Learning, to learn an efficient real-time storage policy that leverages repeated experiences and insightful forecasts using simulations. Additionally, we develop a rollout strategy to enhance our method by leveraging more information available at a given time step. Using simulations to compare our method to traditional storage rules used in the industry showed preliminary results up to 14\% better in terms of travelling times.

연구 동기 및 목표

• 고도로 변동성이 큰 수요와 빠른 배송 요구 조건을 가진 전자상거래 창고에서 로봇 순환 시간을 최소화하는 데 도전한다.
• 로봇 이동 보급 시스템(RMFS) 내 변화하는 주문 흐름과 수요 패턴에 실시간으로 적응하는 동적 저장 정책을 개발한다.
• 단기 거리(SL) 및 계급 기반 정책과 같은 정적 저장 규칙의 한계를 극복하기 위해 반복 경험 학습과 예측 인사이트를 활용한다.
• 로봇 이동 시간을 줄여 고속도, 고용량 전자상거래 보급의 핵심 병목 현상인 이동 시간을 최소화함으로써 시스템 처리 능력을 향상시킨다.
• 새로운 주문이 완전히 드러나지 않은 상태에서도 향후 주문 영향을 예측함으로써 의사결정을 향상시키기 위해 롤아웃 전략을 통합한다.

제안 방법

• 주문 도착과 시스템 상태의 불확실성을 반영하기 위해 동적 저장 할당 문제를 부분적으로 관찰 가능한 마르코프 결정 과정(POMDP)으로 수식화한다.
• 현재 창고 상태를 나타내는 특징(수요 예측 및 레이아웃 정보 포함)을 기반으로 최적의 저장 결정을 학습하는 딥 Q-학습 에이전트를 훈련시킨다.
• 현재 정책과 Q-값 추정치를 사용하여 유한 수평선 경로를 시뮬레이션함으로써 행동 선택을 향상시키는 룩어헤드 롤아웃 전략을 구현한다.
• 지역 기반 저장 할당을 통해 상태 공간 복잡도를 줄이면서도 정책의 유연성과 확장성을 유지한다.
• 다양한 수요 비대칭성 조건 하에서 시뮬레이션 기반 평가를 통해 학습된 정책을 산업 표준 기준선(예: SL, 계급 기반)과 비교한다.
• 롤아웃 수평선 길이 최적화 및 계산 비용과 성능 향상 간 균형을 맞추기 위해 초매개변수 튜닝을 적용한다.

실험 결과

연구 질문

• RQ1 불확실하고 급격히 변화하는 전자상거래 수요 하에서, 강화학습 에이전트가 RMFS에서 로봇 순환 시간을 줄이는 효과적인 동적 저장 정책을 학습할 수 있는가?
• RQ2 룩어헤드 롤아웃 전략을 통합함으로써, 롤아웃 없이 작동하는 표준 정책 대비 Q-학습 기반 저장 정책의 성능은 어떻게 향상되는가?
• RQ3 롤아웃 기반 딥 Q-학습 방법이 기존의 단기 거리(SL) 및 계급 기반 정책과 비교해 상대적으로 얼마나 높은 성능 향상을 이룰 수 있는가?
• RQ4 수요 비대칭성(매개변수 s로 모델링됨)은 제안된 학습 기반 저장 정책의 성능에 어느 정도 영향을 미치는가?
• RQ5 롤아웃 전략은 Q-학습 에이전트뿐 아니라 기준선 정책에도 효과적으로 적용 가능하여 공정하고 확장 가능한 성능 비교를 가능하게 하는가?

주요 결과

• 롤아웃 기반 딥 Q-학습 에이전트는 최고의 기준선(롤아웃 기반 단기 거리) 대비 평균 7.58% 향상된 성능을 기록하여 로봇 순환 시간 최소화 측면에서 뚜렷한 개선을 보였다.
• 롤아웃 없이도 Q-학습 에이전트는 최고의 기준선(SL) 대비 순환 시간 감소 측면에서 3.5%에서 5%까지 우수한 성능을 보였으며, 학습 기반 정책의 가치를 입증했다.
• 롤아웃 전략은 단기 거리 정책에 약 6%의 성능 향상을, Q-학습 에이전트에 약 4%의 성능 향상을 가져다주어, 결정 품질 향상에 매우 효과적임을 시사했다.
• 모의 실험에서 전통적인 저장 규칙 대비 최대 14%의 이동 시간 향상을 달성했으며, 특히 높은 수요 비대칭성(s = 0.9–1.0) 조건에서 두드러졌다.
• 비대칭 수요 분포 조건에서 성능 향상이 가장 두드러졌는데, 이는 에이전트가 롤아웃을 통해 향후 주문 패턴을 예측할 수 있었기 때문에 비결정적 이점을 확보했기 때문이다.
• 롤아웃 강화 Q-학습 정책은 테스트된 모든 수요 비대칭 수준에서, 롤아웃 유무에 관계없이 기준선 SL 정책을 포함한 모든 구성보다 일관되게 뛰어난 성능을 보였다.