[논문 리뷰] Deep Reinforcement Learning for Crowdsourced Urban Delivery: System States Characterization, Heuristics-guided Action Choice, and Rule-Interposing Integration

Tanvir Ahamed, Bo Zou외 2명|arXiv (Cornell University)|2020. 11. 29.

Transportation and Mobility Innovations참고 문헌 39인용 수 4

한 줄 요약

이 논문은 공간-시간 및 용량 데이터로 시스템 상태를 모델링하고, 훈련 효율성을 높이기 위해 히ュ리스틱 기반 동작 선택을 통합하며, 중복된 경로 탐색을 방지하기 위해 규칙 삽입 기법을 적용하는 딥 강화학습(DRL) 프레임워크를 제안한다. 이 방법은 기존 히ュ리스틱보다 우수한 해의 질, 더 빠른 수렴 속도, 더 나은 확장성을 달성한다.

ABSTRACT

This paper investigates the problem of assigning shipping requests to ad hoc couriers in the context of crowdsourced urban delivery. The shipping requests are spatially distributed each with a limited time window between the earliest time for pickup and latest time for delivery. The ad hoc couriers, termed crowdsourcees, also have limited time availability and carrying capacity. We propose a new deep reinforcement learning (DRL)-based approach to tackling this assignment problem. A deep Q network (DQN) algorithm is trained which entails two salient features of experience replay and target network that enhance the efficiency, convergence, and stability of DRL training. More importantly, this paper makes three methodological contributions: 1) presenting a comprehensive and novel characterization of crowdshipping system states that encompasses spatial-temporal and capacity information of crowdsourcees and requests; 2) embedding heuristics that leverage the information offered by the state representation and are based on intuitive reasoning to guide specific actions to take, to preserve tractability and enhance efficiency of training; and 3) integrating rule-interposing to prevent repeated visiting of the same routes and node sequences during routing improvement, thereby further enhancing the training efficiency by accelerating learning. The effectiveness of the proposed approach is demonstrated through extensive numerical analysis. The results show the benefits brought by the heuristics-guided action choice and rule-interposing in DRL training, and the superiority of the proposed approach over existing heuristics in both solution quality, time, and scalability. Besides the potential to improve the efficiency of crowdshipping operation planning, the proposed approach also provides a new avenue and generic framework for other problems in the vehicle routing context.

연구 동기 및 목표

• 시간 창과 용량 제약 조건이 존재하는 도시 환경에서 동적으로 배송 요청을 임시로 배정하는 데 도전 과제를 해결하기 위해.
• 실시간 배송 할당을 위한 실시간성과 확장성을 갖춘 딥 강화학습 접근법을 개발하기 위해.
• 구조화된 상태 표현과 도메인 전문 히ュ리스틱을 통해 DRL 훈련의 안정성과 수렴성을 향상시키기 위해.
• 경로 개선 과정에서 반복되는 노드 시퀀스와 경로를 감지하고 차단함으로써 학습 중 중복 탐색을 방지하기 위해 규칙 삽입 메커니즘을 통합하기 위해.
• 기존 히ュ리스틱 대비 제안된 방법이 해의 질, 계산 시간, 확장성 측면에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• DRL 훈련의 안정성과 가속을 위해 경험 재생과 타겟 네트워크를 활용하는 딥 Q-네트워크(DQN)를 사용한다.
• 기사와 배송 요청의 공간적, 시간적, 용량 정보를 모두 포함하는 포괄적인 상태 표현을 설계한다.
• 직관적인 라우팅 논리를 기반으로 한 히ュ리스틱을 동작 선택 과정에 통합하여 훈련 효율성과 해석 가능성 향상.
• 경로 향상 과정에서 반복되는 노드 시퀀스와 경로를 감지하고 차단함으로써 탐색의 중복을 줄이기 위해 규칙 삽입을 통합한다.
• 동적 요청 도착과 기사 가용성 조건을 고려한 시뮬레이션된 도시 배송 시나리오에서 DQN을 엔드 투 엔드로 훈련한다.
• 기본 히ュ리스틱과의 비교를 위해 솔루션 품질, 훈련 속도, 확장성 측면에서 광범위한 수치 실험을 통해 프레임워크를 평가한다.

실험 결과

연구 질문

• RQ1 공동 운송 도시 배송에서 DRL 기반 의사결정을 지원하기 위해 시스템 상태를 효과적으로 특성화할 수 있는 방법은 무엇인가?
• RQ2 복잡한 라우팅 환경에서 히ュ리스틱 기반 동작 선택이 DRL 훈련의 효율성과 안정성에 얼마나 기여하는가?
• RQ3 규칙 삽입 메커니즘이 차량 라우팅 문제에 대한 DRL 학습에서 중복 탐색을 줄이고 수렴 속도를 높일 수 있는가?
• RQ4 제안된 DRL 프레임워크는 기존 히ュ리스틱 대비 해의 질, 런타임, 확장성 측면에서 어떻게 비교되는가?
• RQ5 제안된 방법은 공동 운송 배송을 초월한 다른 차량 라우팅 문제에 일반화될 수 있는가?

주요 결과

• 동작 선택에 히ュ리스틱을 통합함으로써 DRL 모델의 훈련 효율성과 수렴 속도가 크게 향상된다.
• 규칙 삽입은 반복적인 경로 탐색을 줄여 학습 속도를 가속화하고 샘플 효율성을 향상시킨다.
• 제안된 DRL 프레임워크는 특히 복잡하고 동적인 환경에서 기존 히ュ리스틱보다 높은 해의 질을 달성한다.
• 배송 요청 수와 기사 수 증가에 따라 더 나은 확장성을 보여준다.
• 상태 특성화, 히ュ리스틱 안내, 규칙 삽입의 조합은 표준 DQN 대비 더 빠른 수렴과 더 안정적인 훈련을 이끈다.
• 실험 결과는 시간 창과 용량 제약 조건이 존재하는 실제 도시 배송 환경에서 프레임워크의 효과성을 확인한다.