[논문 리뷰] Solving the Order Batching and Sequencing Problem using Deep Reinforcement Learning

Bram Cals, Yingqian Zhang외 2명|arXiv (Cornell University)|2020. 06. 16.

Advanced Manufacturing and Logistics Optimization참고 문헌 28인용 수 4

한 줄 요약

이 논문은 하이브리드 퍼스널 투 거즈(PTG) 및 거즈 투 퍼스널(GtP) 창고에서 주문 배치 및 순서 매기기 문제(Order Batching and Sequencing Problem, OBSP)를 해결하기 위해 Proximal Policy Optimization(PPO)를 사용하는 딥 강화학습(Deep Reinforcement Learning, DRL) 접근법을 제안한다. 이를 위해 벡터 기반 상태 표현을 사용하는 반-마르코프 결정 과정(Semi-Markov Decision Process)으로 공식화한다. DRL 에이전트는 전통적인 휴리스틱보다 뛰어난 성능을 보이며, 더 낮은 지각 주문 비율을 달성하고 다양한 주문 수와 시간대에서 강력한 일반화 능력을 보여준다.

ABSTRACT

In e-commerce markets, on time delivery is of great importance to customer satisfaction. In this paper, we present a Deep Reinforcement Learning (DRL) approach for deciding how and when orders should be batched and picked in a warehouse to minimize the number of tardy orders. In particular, the technique facilitates making decisions on whether an order should be picked individually (pick-by-order) or picked in a batch with other orders (pick-by-batch), and if so with which other orders. We approach the problem by formulating it as a semi-Markov decision process and develop a vector-based state representation that includes the characteristics of the warehouse system. This allows us to create a deep reinforcement learning solution that learns a strategy by interacting with the environment and solve the problem with a proximal policy optimization algorithm. We evaluate the performance of the proposed DRL approach by comparing it with several batching and sequencing heuristics in different problem settings. The results show that the DRL approach is able to develop a strategy that produces consistent, good solutions and performs better than the proposed heuristics.

연구 동기 및 목표

• 동적 주문 도착과 혼합된 PTG/GtP 시스템 환경에서 지각 주문을 최소화하는 데 도전하는 것.
• 주문별 수거와 배치 수거 간에 동적으로 결정하고, 효과적으로 배치를 순서화하는 학습 기반 전략을 개발하는 것.
• 실제 복잡한 창고 환경에서 기존 휴리스틱과 비교하여 DRL 에이전트의 성능과 일반화 능력을 평가하는 것.
• DRL이 창고 분야의 NP-완전 순차적 결정 문제를 해결하는 데 실현 가능하고 강건한지를 입증하는 것.

제안 방법

• OBSP는 지연 보상과 변동하는 행동 지속 시간을 허용하는 반-마르코프 결정 과정(Semi-Markov Decision Process, SMDP)으로 공식화된다.
• 벡터 기반 상태 표현은 주문 마감 시간, 품목 위치, 시스템 유형(PTG 또는 GtP)과 같은 창고 특성을 코딩한다.
• 딥 Q-네트워크(Deep Q-Network, DQN)에 정책 기반 강화학습 접근법을 적용하여 Proximal Policy Optimization(PPO) 알고리즘을 사용해 최적의 배치 및 순서 매기기 정책을 학습한다.
• 에이전트는 각 행동의 영향(지각 여부, 이동 거리 등)을 계산하는 시뮬레이션된 창고 환경과 상호작용한다.
• DRL 모델은 다양한 문제 인스턴스에서 훈련되고, 다른 주문 수와 시간 창에서의 성능 및 일반화 능력에 대해 평가된다.
• 일반화 능력을 테스트하기 위해 특정 인스턴스 크기나 시간 창에서 훈련된 에이전트를 예측되지 않은, 분포 외의 설정에 적용한다.

실험 결과

연구 질문

• RQ1 하이브리드 PTG/GtP 창고 환경에서 전통적 휴리스틱보다 DRL 에이전트가 우수한 주문 배치 및 순서 매기기 전략을 학습할 수 있는가?
• RQ2 훈련 중에 관찰하지 못한 주문 수가 다른 문제 인스턴스에 대해 DRL 에이전트의 일반화 능력은 얼마나 뛰어난가?
• RQ3 높은 주문 변동성이 있는 정점 시간대를 포함한 다양한 시간대에 적용했을 때 DRL 에이전트의 성능은 일관성 있게 유지되는가?
• RQ4 DRL 접근법은 전자상거래 주문 피킹 환경에서의 동적 주문 도착과 불확실성을 효과적으로 다룰 수 있는가?

주요 결과

• DRL 에이전트는 500개 주문 인스턴스에서 평균 0.75%의 지각 주문 비율을 기록하여 테스트된 모든 휴리스틱보다 뛰어난 성능을 보였다.
• 400개 주문에서 훈련된 에이전트는 400개 주문 테스트 인스턴스에서 1.08%의 지각 주문 비율을 기록했고, 500개 주문 인스턴스에서는 3.57%를 기록하여 더 큰 주문량으로의 강력한 일반화 능력을 보였다.
• 19:00–20:00 시간 창에서 훈련된 에이전트는 19:00~00:00 사이의 랜덤 시간대에서 평균 0.66%의 지각 주문 비율을 기록하여 시간적 변동성에 대한 강건성을 보였다.
• 마지막 시간대(23:00–00:00)를 테스트에 포함했을 때 성능이 약간 저하되었으며, 평균 지각 주문 비율이 0.94%로 상승했다. 이는 훈련 중에 관찰되지 않은 희귀한 소규모 인스턴스 상태 때문이었다.
• DRL 모델은 다양한 설정에서 일관된 성능을 보였으며, 표준편차가 낮았고(예: 400개 주문일 경우 1.68%, 500개 주문일 경우 2.59%), 안정성을 입증했다.
• 결과는 전통적 휴리스틱이 어려움을 겪는 복잡하고 동적인 창고 의사결정 문제에 대해 DRL이 효과적이고 적응 가능한 전략을 학습할 수 있음을 확인한다.