[논문 리뷰] Value Function is All You Need: A Unified Learning Framework for Ride Hailing Platforms

Xiaocheng Tang, Fan Zhang외 7명|arXiv (Cornell University)|2021. 05. 18.

Transportation and Mobility Innovations참고 문헌 18인용 수 4

한 줄 요약

이 논문은 실시간 플랫폼 거래 경험과 이전 운전자 경로 데이터를 통해 업데이트되는 글로벌 공유가치함수를 활용하는 통합된 가치기반 강화학습 프레임워크인 V1D3를 제안한다. 주기적인 앙상블 방법을 통해 빠른 온라인 학습과 대규모 오프라인 사전학습을 결합함으로써, V1D3는 주문 배정과 차량 재배치 양 측면에서 최신 기술 수준의 성능을 달성하였으며, 운전자 수익과 사용자 경험 지표에서 KDD 컵 2020 수상자들을 능가한다.

ABSTRACT

Large ride-hailing platforms, such as DiDi, Uber and Lyft, connect tens of thousands of vehicles in a city to millions of ride demands throughout the day, providing great promises for improving transportation efficiency through the tasks of order dispatching and vehicle repositioning. Existing studies, however, usually consider the two tasks in simplified settings that hardly address the complex interactions between the two, the real-time fluctuations between supply and demand, and the necessary coordinations due to the large-scale nature of the problem. In this paper we propose a unified value-based dynamic learning framework (V1D3) for tackling both tasks. At the center of the framework is a globally shared value function that is updated continuously using online experiences generated from real-time platform transactions. To improve the sample-efficiency and the robustness, we further propose a novel periodic ensemble method combining the fast online learning with a large-scale offline training scheme that leverages the abundant historical driver trajectory data. This allows the proposed framework to adapt quickly to the highly dynamic environment, to generalize robustly to recurrent patterns and to drive implicit coordinations among the population of managed vehicles. Extensive experiments based on real-world datasets show considerably improvements over other recently proposed methods on both tasks. Particularly, V1D3 outperforms the first prize winners of both dispatching and repositioning tracks in the KDD Cup 2020 RL competition, achieving state-of-the-art results on improving both total driver income and user experience related metrics.

연구 동기 및 목표

• 대규모 라이드셰이킹 플랫폼에서 수요와 공급 간의 복잡하고 실시간적인 상호작용을 다루기 위해.
• 주문 배정과 차량 재배치를 상호의존성을 반영하는 하나의 학습 프레임워크로 통합하기 위해.
• 온라인 거래와 이전 운전자 경로 데이터를 모두 활용하여 표본 효율성과 안정성을 향상시키기 위해.
• 가치함수 학습을 통해 공급-수요 변화에 신속하게 적응하면서도 장기 성능을 유지할 수 있도록 하기 위해.
• 실제 데이터 기반으로 운전자 수익과 사용자 경험 지표에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 실시간 플랫폼 거래에서 발생하는 온라인 경험을 사용하여 글로벌 공유 가치함수를 지속적으로 업데이트한다.
• 새로운 주기적 앙상블 방법을 통해 빠른 온라인 학습과 이전 운전자 경로 데이터 기반의 대규모 오프라인 훈련을 결합한다.
• 온라인 학습은 온정책 가치반복에서 유도된 인구기반 시간차분 목표함수를 사용하여 신속한 적응을 달성한다.
• 가치함수는 공급과 수요 변화에 대해 지리적으로 매끄러운 가치 반응을 보장하기 위해 굵은 코드 상태 표현을 사용한다.
• 동일한 공유 가치함수를 사용하여 디스패칭 및 재배치 결정을 위한 가치기반 계획을 통합한다.
• 오프라인 모델은 안정적인 초기화를 제공하고, 온라인 업데이트를 통해 실시간 변동에 동적으로 대응할 수 있다.

실험 결과

연구 질문

• RQ1 통합된 가치기반 프레임워크는 대규모 라이드셰이킹 시스템에서 주문 배정과 차량 재배치를 효과적으로 조율할 수 있는가?
• RQ2 온라인 및 오프라인 학습을 어떻게 조합하여 동적인 교통 환경에서 표본 효율성과 안정성을 향상시킬 수 있는가?
• RQ3 공유 가치함수는 공급(운전자)과 수요(주문)의 급격한 변화에 얼마나 잘 적응할 수 있는가?
• RQ4 제안된 앙상블 학습 방법은 실생활 라이드셰이킹 환경에서 단독 온라인 또는 오프라인 훈련보다 우수한 성능을 낼 수 있는가?
• RQ5 이 프레임워크는 운전자 수익과 사용자 경험 지표 양 측면에서 동시에 초우수한 성능을 달성할 수 있는가?

주요 결과

• V1D3는 KDD 컵 2020 강화학습 경연 대회에서 디스패칭 및 재배치 트랙의 최우수 수상자 솔루션을 모두 능가한다.
• 실제 데이터셋 기반으로 총 운전자 수익과 사용자 경험과 관련된 지표 향상에서 최신 기술 수준의 성능을 달성한다.
• 신규 운전자 도착에 대해 가치함수가 신속히 적응하여, 과다 모집을 방지하기 위해 출발지에서 가치가 즉각적으로 감소함을 보여준다.
• 갑작스러운 수요 폭증에 대해 가치함수가 증가하여 고수요 지역으로 더 많은 운전자를 배치하도록 유도한다.
• 동적인 가치 반응은 지리적으로 매끄럽고, 공급-수요 불균형이 해소됨에 따라 자연스럽게 감쇠된다.
• 주기적 앙상블 방법은 대규모 오프라인 사전학습을 통해 안정성을 확보하면서도, 온라인 적응을 신속하게 가능하게 한다.