[논문 리뷰] Deep Q-Learning for Same-Day Delivery with a Heterogeneous Fleet of Vehicles and Drones.

Xinwei Chen, Marlin W. Ulmer외 1명|arXiv (Cornell University)|2019. 10. 25.

Transportation and Mobility Innovations인용 수 13

한 줄 요약

이 논문은 이질적인 차량과 드론의 허브를 활용하여 동일일 배송을 최적화하기 위해 딥 Q-학습 프레임워크를 제안한다. 이는 새로운 요청을 드론, 차량 또는 기각할지 동적으로 결정한다. 이 방법은 분석적 특성 선택을 활용하여 계산 실험에서 벤치마크 정책을 능가한다.

ABSTRACT

In this paper, we consider same-day delivery with a heterogeneous fleet of vehicles and drones. Customers make delivery requests over the course of the day and the dispatcher dynamically dispatches vehicles and drones to deliver the goods to customers before their delivery deadline. Vehicles can deliver multiple packages in one route but travel relatively slowly due to the urban traffic. Drones travel faster, but they have limited capacity and require charging or battery swaps. To exploit the different strengths of the fleets, we propose a deep Q-learning approach. Our method learns the value of assigning a new customer to either drones or vehicles as well as the option to not offer service at all. To aid feature selection, we present an analytical analysis that demonstrates the role that different types of information have on the value function and decision making. In a systematic computational analysis, we show the superiority of our policy compared to benchmark policies and the effectiveness of our deep Q-learning approach.

연구 동기 및 목표

• 느린 고용량 차량과 빠른 저용량 드론이 혼합된 허브를 활용한 동적 동일일 배송의 과제를 해결한다.
• 새로운 배송 요청을 드론, 차량 또는 기각할지 결정하는 실시간 딜리버리 정책을 개발한다.
• 드론과 차량의 상호보완적 강점을 활용하여 배송 성공률을 높이고 배송 시간을 단축시킨다.
• 시간 제약이 있는 동적 배송 결정의 복잡성을 효과적으로 다룰 수 있는 강화학습 프레임워크를 설계한다.

제안 방법

• 새로운 배송 요청을 드론, 차량 또는 기각할지 결정하는 최적의 행동 정책을 학습하기 위해 딥 Q-학습을 활용한다.
• 배송 마감일, 차량/드론의 현재 위치, 잔여 용량과 같은 시간 민감성 특성을 포함하는 가치 함수를 설계한다.
• 분석적 통찰을 활용해 특성 선택을 유도하여 상태 표현이 결정에 중요한 정보를 효과적으로 포착하도록 한다.
• 경험 재생과 타겟 네트워크를 사용하여 동적이고 지속적인 배송 환경에서 학습을 안정화시킨다.
• 드론의 제한된 범위, 배터리 제약, 충전 또는 교체 필요성과 차량의 교통 상황, 다중 정류지 루팅 등을 상태 및 행동 공간에 모델링한다.
• 하루 동안 새로운 요청이 들어올 때마다 할당을 재평가하는 동적 딜리버리 메커니즘을 통합한다.

실험 결과

연구 질문

• RQ1 딥 Q-학습은 동일일 배송 환경에서 이질적인 드론과 차량 허브에 대해 새로운 배송 요청을 동적으로 할당하는 데 얼마나 효과적인가?
• RQ2 배송 상태의 어떤 특성이 가치 함수와 결정 정확도에 가장 크게 영향을 미치는가?
• RQ3 제안된 정책은 배송 성공률과 적시성 측면에서 기준 딜리버리 전략과 비교해 어떻게 다른가?
• RQ4 비가능한 배송 요청을 기각하는 것이 전체 시스템 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 딥 Q-학습 정책은 배송 성공률과 적시성 측면에서 기준 딜리버리 정책을 크게 능가한다.
• 분석적 특성 선택은 동적 조건 하에서 일반화 능력과 정확한 결정 능력을 향상시킨다.
• 빠른 드론과 느리지만 고용량인 차량의 사용을 효과적으로 균형 잡아 평균 배송 시간을 감소시킨다.
• 서비스를 마감일 이전에 완료할 수 없는 경우 비가능한 요청을 거부하는 것을 학습함으로써 시스템 효율성이 향상된다.
• 딥 Q-학습 접근법은 실시간으로 시간 제약이 있는 배송 결정을 처리하는 데 있어 강건성과 확장성을 입증한다.
• 계산 실험을 통해 제안된 방법이 규칙 기반 및 히우리스틱 대안보다 열등하지 않음을 확인했다.