[논문 리뷰] Real-world Ride-hailing Vehicle Repositioning using Deep Reinforcement Learning

Yan Jiao, Xiaocheng Tang외 5명|arXiv (Cornell University)|2021. 03. 08.

Transportation and Mobility Innovations참고 문헌 31인용 수 14

한 줄 요약

이 논문은 실세계의 릭헤일링 차량 재배치를 위한 딥 강화학습 프레임워크를 제안하며, 결정 시점 계획 수립 기능을 통합하여 배치 학습을 통해 시공간적 상태가치 함수를 학습하고, 필요에 따라 최적의 재배치 행동을 생성한다. 시뮬레이션과 실세계 현장 테스트에서 정규 운전자들에 비해 시간당 수익성에서 뛰어난 성능을 보였다.

ABSTRACT

We present a new practical framework based on deep reinforcement learning and decision-time planning for real-world vehicle repositioning on ride-hailing (a type of mobility-on-demand, MoD) platforms. Our approach learns the spatiotemporal state-value function using a batch training algorithm with deep value networks. The optimal repositioning action is generated on-demand through value-based policy search, which combines planning and bootstrapping with the value networks. For the large-fleet problems, we develop several algorithmic features that we incorporate into our framework and that we demonstrate to induce coordination among the algorithmically-guided vehicles. We benchmark our algorithm with baselines in a ride-hailing simulation environment to demonstrate its superiority in improving income efficiency meausred by income-per-hour. We have also designed and run a real-world experiment program with regular drivers on a major ride-hailing platform. We have observed significantly positive results on key metrics comparing our method with experienced drivers who performed idle-time repositioning based on their own expertise.

연구 동기 및 목표

• 비운전 시간 동안의 차량 재배치 전략을 최적화하여 릭헤일링 운전자들의 수익 효율성을 향상시키는 것.
• 소규모 플릿(개인 운전자)과 대규모 플릿(도시 전역) 재배치 시나리오 모두에 적용 가능한 확장 가능한 프레임워크를 개발하는 것.
• 학습된 가치 네트워크와 계획을 활용해 실시간으로 즉각적인 재배치 결정을 내릴 수 있도록 하는 것.
• 대규모 플릿 환경에서 차량 이동을 조율하여 혼잡을 방지하고 전체 시스템의 효율성을 향상시키는 것.
• 주요 릭헤일링 플랫폼에서의 시뮬레이션 및 실세계 현장 실험을 통해 접근 방식을 검증하는 것.

제안 방법

• 프레임워크는 이력 릭헤일링 데이터를 기반으로 배치 오프라인 학습을 통해 딥 Q-네트워크 기반의 상태가치 함수를 학습한다.
• 학습된 가치 네트워크를 활용한 가치 기반 정책 탐색을 통해 필요에 따라 최적의 재배치 행동을 생성하며, 계획과 부트스트랩핑을 통합한다.
• 표준 탐색이 실패할 경우 저수요 지역에서 운전자를 이탈시키기 위해 장거리 탐색 메커니즘을 도입하여 희소 지역에서의 재배치 성공률을 향상시킨다.
• 공급-수요(SD) 정보를 상태 표현에 통합하여 반응성을 향상시키고, 대규모 플릿 시나리오에서 차량 간 협업을 가능하게 한다.
• Q-값 네트워크의 상태 특징을 확장하여 단일 승객 및 카풀 모드를 모두 지원한다.
• 알고리즘은 AI 드라이버 어시스턴트로 구현되며, 실시간으로 행동을 제안하고 운전자의 수락 여부에 따라 결정되며, 수락 확률 $p_a$로 모델링된다.

실험 결과

연구 질문

• RQ1 결정 시점 계획 수립 기반의 딥 강화학습이 실세계 릭헤일링 차량 재배치에서 인간 전문가 전략을 능가할 수 있는가?
• RQ2 통합 프레임워크는 개인 운전자 재배치와 대규모 플릿 조율을 효과적으로 동시에 처리할 수 있는가?
• RQ3 공급-수요 상태 정보는 조율된 전체 시스템 수준의 재배치를 가능하게 하는 데 어떤 역할을 하는가?
• RQ4 장거리 탐색 메커니즘은 저수요 지역에서 고수요 지역으로 운전자를 이동시키는 데 얼마나 효과적인가?
• RQ5 경험이 많은 운전자에 비해 AI 어시스턴트는 시간당 수익을 얼마나 향상시키는가?

주요 결과

• 실세계 현장 테스트에서 제안된 방법은 경험이 많은 운전자들보다 뚜렷이 높은 시간당 수익을 달성했으며, 운전자들은 강한 만족도를 보이며 재참여 의사가 높았다.
• 장거리 탐색 메커니즘이 고립된 저수요 지역에서의 운전자를 도시 중심부로 재배치하여 생산성 없는 영역에서 장시간 정지하는 것을 방지했다.
• 시뮬레이션 벤치마크에서 알고리즘은 시간당 수익 향상 측면에서 여러 베이스라인을 능가했으며, 뛰어난 효율성을 입증했다.
• 대규모 플릿 시나리오에서 프레임워크는 공급-수요 인식 상태 표현을 통해 고수요 지역에서의 혼잡을 방지하며 차량 이동을 효과적으로 조율했다.
• 운전자들이 재배치 작업을 거부하는 상황에서도 시스템은 높은 성능을 유지했으며, 수락 확률 $p_a$에 기반한 단순 할인 메커니즘이 행동 가치에 적용되었다.
• 운전자 이동 경로 분석 결과, 장거리 탐색은 거의 발생하지 않았으며, 일반 탐색 알고리즘이 대부분의 케이스를 처리했지만, 희귀하지만 영향력이 큰 상황에서는 장거리 탐색이 필수적인 역할을 했다.