[논문 리뷰] Can Sophisticated Dispatching Strategy Acquired by Reinforcement Learning? - A Case Study in Dynamic Courier Dispatching System

Yujie Chen, Qian Yu외 6명|arXiv (Cornell University)|2019. 03. 07.

Transportation and Mobility Innovations참고 문헌 24인용 수 16

한 줄 요약

이 논문은 실시간 전자상거래 픽업 서비스에서의 동적 코디네이터 배차 문제(Dynamic Courier Dispatching Problem, CDP)를 해결하기 위해 다중 에이전트 강화학습(MARL) 프레임워크를 제안한다. 문제를 마르코프 결정 과정(MDP)으로 모델링하고 계층적 상태 표현과 보상 조정을 사용함으로써, 인간이 설계한 알고리즘과 단기적 최적화 방법보다 뛰어난 장기적 배차 정책을 학습한다. 실제 데이터 및 합성 데이터를 바탕으로 한 실험에서 13% 높은 수익을 달성하였다.

ABSTRACT

In this paper, we study a courier dispatching problem (CDP) raised from an online pickup-service platform of Alibaba. The CDP aims to assign a set of couriers to serve pickup requests with stochastic spatial and temporal arrival rate among urban regions. The objective is to maximize the revenue of served requests given a limited number of couriers over a period of time. Many online algorithms such as dynamic matching and vehicle routing strategy from existing literature could be applied to tackle this problem. However, these methods rely on appropriately predefined optimization objectives at each decision point, which is hard in dynamic situations. This paper formulates the CDP as a Markov decision process (MDP) and proposes a data-driven approach to derive the optimal dispatching rule-set under different scenarios. Our method stacks multi-layer images of the spatial-and-temporal map and apply multi-agent reinforcement learning (MARL) techniques to evolve dispatching models. This method solves the learning inefficiency caused by traditional centralized MDP modeling. Through comprehensive experiments on both artificial dataset and real-world dataset, we show: 1) By utilizing historical data and considering long-term revenue gains, MARL achieves better performance than myopic online algorithms; 2) MARL is able to construct the mapping between complex scenarios to sophisticated decisions such as the dispatching rule. 3) MARL has the scalability to adopt in large-scale real-world scenarios.

연구 동기 및 목표

• 도시 내 전자상거래 픽업 서비스에서 랜덤한 시공간적 수요 패tern을 가지는 동적 실시간 코디네이터 배차 문제에 대응하기 위해.
• 단기적 최적화 목표에 의존하지 않고 장기적 수익 증대를 반영하는 데이터 기반의 확장 가능한 배차 전략을 개발하기 위해.
• 복잡하고 동적인 환경에서 지연된 보상과 에이전트 간 상호작용이 존재하는 상황에서 중심 집중형 MDP 모델링 및 전통적 온라인 알고리즘의 한계를 극복하기 위해.
• 에이전트 간 협업을 장려하기 위해 효과적인 보상 조정을 적용한 탈중앙화된 MARL 프레임워크를 설계하기 위해.
• 합성 데이터 및 실제 도시 픽업 데이터 세트를 바탕으로 본 연구 방법의 일반화 능력과 확장성을 검증하기 위해.

제안 방법

• CDP는 계층적 구조를 가진 마르코프 결정 과정(MDP)으로 공식화되며, 배차 수준(에이전트-그리드 할당)과 라우팅 수준(시간 창 제약이 있는 오리엔티어링 문제)으로 나뉜다.
• 공간적 및 시간적 수요 패턴은 2시간 창의 역사적 요청 밀도, 시간 창, 서비스 가치를 담은 다층 그리드 이미지로 스택하여 표현한다.
• 각 코디네이터가 자신의 국지적 관측 기반으로 독립된 에이전트로 행동하는 탈중앙화된 제어 방식을 사용한 다중 에이전트 강화학습(MARL) 알고리즘이 훈련된다.
• 협업을 장려하기 위해 보상 조정을 적용한다: 성공적인 요청 처리에 기반한 지연된 누적 보상이 에이전트에게 제공되며, 장기적 의존성 문제를 해결하기 위해 신용 할당 방식이 조정된다.
• 정책 네트워크는 경험 재생 및 타겟 네트워크를 사용한 딥 Q러닝을 활용하여 훈련 안정성을 확보하며, 상태 공간에는 공간 그리드, 코디네이터 가용성, 요청 메타데이터(예: 시간 창, 가격) 등이 포함된다.
• 본 연구 방법은 항저우에서 확보한 실제 픽업 데이터와 합성 데이터를 모두 사용하여 평가되었으며, GHEP, 무작위, MBM 기준선과의 아블레이션 연구를 수행하였다.

실험 결과

연구 질문

• RQ1 MARL은 인간이 설계한 단기적 최적화 온라인 알고리즘보다 동적 코디네이터 배차에서 더 뛰어난 정책을 학습할 수 있는가?
• RQ2 지연된 보상이 존재하는 탈중앙화된 MARL 환경에서 보상 조정은 에이전트 간 협업을 얼마나 효과적으로 촉진하는가?
• RQ3 MARL 정책은 수요 시간 창 분포, 동적 요청 비율, 영역 구성 변화 등 다양한 변화가 있는 예측 불가능한 시나리오에 얼마나 잘 일반화되는가?
• RQ4 그리디하거나 규칙 기반 방법에 비해 MARL 기반의 배차 전략은 시공간적 수요 패턴을 얼마나 잘 포착하여 장기적 수익을 극대화하는가?
• RQ5 수백 명의 코디네이터와 요청이 존재하는 대규모 도시 환경에서 제안된 MARL 프레임워크의 확장성은 어떠한가?

주요 결과

• MARL-EP는 모든 기준선을 압도하여 팀 2 실험에서 GHEP 정책보다 총 수익이 13% 높게 나타났으며, 1,000개의 훈련 에피소드 이후 GHEP를 초월하는 성능을 보였다.
• MARL-EP 정책은 단기적 최적화 전략이 저점을 기반으로 하여 도달하지 못하는 고립된 원거리 지역에 사전에 배차함으로써 뛰어난 장기적 계획 능력을 입증하였다.
• 모델의 강건성을 확인하기 위해 고객의 시간 창 분포 변화, 동적 요청 비율, 영역 레이아웃 변화 등 다양한 변화가 있는 예측 불가능한 시나리오에 대해 우수한 일반화 능력을 보였다.
• 탈중앙화된 MARL에 보상 조정을 적용함으로써 에이전트 간 효과적인 협업이 가능해졌으며, 중복 경쟁을 줄이고 공간적·시간적 수요-공급 매칭을 향상시켰다.
• MARL 프레임워크는 더 큰 데이터 세트에 효과적으로 확장되었으며, 팀 4(각 코디네이터별 개별 훈련)는 팀 1(공동 정책)과 유사한 성능을 보였지만, 에이전트당 샘플 수가 적어 학습 속도가 느렸다.
• 경로 분석 결과, MARL-EP 에이전트는 무작위 또는 그리디 정책과 달리 변화하는 요청 집중지역에 맞춰 더 전략적이고 적응적인 경로를 따르는 것으로 확인되었다.