[논문 리뷰] MOVI: A Model-Free Approach to Dynamic Fleet Management

Takuma Oda, Carlee Joe‐Wong|arXiv (Cornell University)|2018. 04. 13.

Transportation and Mobility Innovations참고 문헌 14인용 수 9

한 줄 요약

MOVI는 뉴욕 시티 택시 데이터를 기반으로, 분산형 딥 Q네트워크(DQN)를 사용하는 모델 프리, 딥 강화학습 기반의 동적 택시 플릿 딜리버리 방식을 제안한다. 이는 각 차량이 독립적으로 최적의 딜리버리 정책을 학습할 수 있도록 한다. 이는 중앙집중식 리커링-호라이즌 제어(RHC) 정책보다 무디스패치 대비 76% 감소, RHC 대비 20% 감소한 미처리 요청 수를 기록하며, 실제 동적 환경에서 분산형, 즉각 반응하는 정책이 조율된, 모델 기반 방법을 능가할 수 있음을 보여준다.

ABSTRACT

Modern vehicle fleets, e.g., for ridesharing platforms and taxi companies, can reduce passengers' waiting times by proactively dispatching vehicles to locations where pickup requests are anticipated in the future. Yet it is unclear how to best do this: optimal dispatching requires optimizing over several sources of uncertainty, including vehicles' travel times to their dispatched locations, as well as coordinating between vehicles so that they do not attempt to pick up the same passenger. While prior works have developed models for this uncertainty and used them to optimize dispatch policies, in this work we introduce a model-free approach. Specifically, we propose MOVI, a Deep Q-network (DQN)-based framework that directly learns the optimal vehicle dispatch policy. Since DQNs scale poorly with a large number of possible dispatches, we streamline our DQN training and suppose that each individual vehicle independently learns its own optimal policy, ensuring scalability at the cost of less coordination between vehicles. We then formulate a centralized receding-horizon control (RHC) policy to compare with our DQN policies. To compare these policies, we design and build MOVI as a large-scale realistic simulator based on 15 million taxi trip records that simulates policy-agnostic responses to dispatch decisions. We show that the DQN dispatch policy reduces the number of unserviced requests by 76% compared to without dispatch and 20% compared to the RHC approach, emphasizing the benefits of a model-free approach and suggesting that there is limited value to coordinating vehicle actions. This finding may help to explain the success of ridesharing platforms, for which drivers make individual decisions.

연구 동기 및 목표

• 모델 프리, 분산형 딜리버리 접근 방식이 동적 플릿 관리에서 조율된, 모델 기반 방법을 능가할 수 있는지 조사하는 것.
• 대규모, 불확실한 도시 이동 환경에서 조율, 계산 비용, 성능 간의 상호 상충 관계를 평가하는 것.
• 1,500만 건의 뉴욕 시티 택시 이동 기록을 활용해 현실적인 시뮬레이션 프레임워크를 설계하고 검증하여 실제 조건에서의 딜리버리 정책 성능을 평가하는 것.
• 시스템 모델에 의존하지 않고 실시간 플릿 운영에서 강화학습의 실용성과 확장성을 탐색하는 것.

제안 방법

• 각 차량이 가치 기반 함수 근사법을 사용해 독립적으로 최적의 딜리버리 정책을 학습하는 딥 Q네트워크(DQN) 프레임워크를 MOVI가 활용한다.
• 각 차량의 빠른 추론을 보장하기 위해 간소화된 학습 방법을 사용하여 실시간 의사결정이 가능하며, 지연 시간이 100ms 이내가 되도록 한다.
• 기준선으로 중앙집중식 리커링-호라이즌 제어(RHC) 정책을 구현하여, 대규모 선형계획문제를 풀어 차량 딜리버리 조율을 수행한다.
• 1,500만 건의 실제 택시 이동 기록을 기반으로 대규모이고 현실적인 시뮬레이터를 구축하여 딜리버리 결정을 시뮬레이션하고 정책 성능을 평가한다.
• DQN 정책의 성능를 RHC 정책과 동일한 딜리버리 주기에서 평가하기 위해 DQN*로 표기된 조건에서 평가하여, 결정 속도의 영향을 분리한다.
• 입력 특징으로 차량 위치, 시간대, 예측 수요를 사용하며, 이동 시간이나 향후 수요에 대한 명시적 모델링은 포함하지 않는다.

실험 결과

연구 질문

• RQ1 분산형, 모델 프리 딜리버리 정책이 동적 플릿 관리에서 중앙집중식, 모델 기반 접근 방식을 능가할 수 있는가?
• RQ2 무작위로 선택된 딜리버리 주기에서 DQN 기반 정책의 성능이 리커링-호라이즌 제어(RHC) 정책과 비교해 미처리 요청 수와 대기 시간 측면에서 어떻게 다른가?
• RQ3 고불확실성, 실시간 환경에서 결정 속도와 조율이 정책 효과성에 미치는 영향은 무엇인가?
• RQ4 조율이 없음에도 불구하고 개별 차량 최적화가 전체 시스템 수준의 성과를 더 좋게 이끌 수 있는가?

주요 결과

• DQN 정책은 무디스패치 대비 76% 감소, RHC 정책 대비 20% 감소한 미처리 요청 수를 기록하여 뛰어난 성능을 입증한다.
• DQN 정책는 동일한 딜리버리 주기에서 RHC 정책과 비교해도 성능이 뛰어나며, 이는 속도와 적응성의 핵심 이점임을 시사한다.
• DQN 정책는 RHC보다 더 높은 최소 차량 이용률을 기록하여 차량 간 작업 분배가 더 균형 잡혀 있음을 시사한다.
• DQN 정책는 RHC보다 약간 더 높은 공석 주행 시간을 기록하지만, 이는 특히 저녁 8시에서 자정 사이에 더 낮은 기각률로 상쇄된다.
• DQN 정책는 100ms 이내의 추론 시간 덕분에 환경 변화에 더 빠르게 적응하며, RHC 정책의 몇 초에서 수십 초에 이르는 느린 최적화에 비해 뛰어난 성능을 보인다.
• 결과적으로 중앙집중식 조율의 이점은 제한적이며, 이는 우버와 같은 분산형 라이드셰링 플랫폼의 성공을 설명할 수 있다.