[논문 리뷰] A Deep Reinforcement Learning Framework for Rebalancing Dockless Bike Sharing Systems

Ling Pan, Qingpeng Cai외 3명|arXiv (Cornell University)|2018. 02. 13.

Urban Transport and Accessibility참고 문헌 24인용 수 23

한 줄 요약

이 논문은 사용자에게 인센티브를 제공하여 공간적·시간적 측면에서 자전거를 재분배함으로써 도크리스 자전거 공유 시스템의 재균형을 도모하는 딥 강화학습 프레임워크인 계층적 강화학습 가격 설정(Hierarchical Reinforcement Pricing, HRP)을 제안한다. HRP는 문제를 마르코프 결정 과정으로 모델링하고, 국지적 모듈을 통해 공간적·시간적 의존성을 포착하는 분할-정복 구조를 사용하며, 24개의 타임슬롯 향후 최적화에 비해 2% 이내의 near-optimal 성능를 달성하면서도 서비스 수준과 자전거 분포 안정성 측면에서 최신 기술보다 뛰어난 성능을 보인다.

ABSTRACT

Bike sharing provides an environment-friendly way for traveling and is booming all over the world. Yet, due to the high similarity of user travel patterns, the bike imbalance problem constantly occurs, especially for dockless bike sharing systems, causing significant impact on service quality and company revenue. Thus, it has become a critical task for bike sharing systems to resolve such imbalance efficiently. In this paper, we propose a novel deep reinforcement learning framework for incentivizing users to rebalance such systems. We model the problem as a Markov decision process and take both spatial and temporal features into consideration. We develop a novel deep reinforcement learning algorithm called Hierarchical Reinforcement Pricing (HRP), which builds upon the Deep Deterministic Policy Gradient algorithm. Different from existing methods that often ignore spatial information and rely heavily on accurate prediction, HRP captures both spatial and temporal dependencies using a divide-and-conquer structure with an embedded localized module. We conduct extensive experiments to evaluate HRP, based on a dataset from Mobike, a major Chinese dockless bike sharing company. Results show that HRP performs close to the 24-timeslot look-ahead optimization, and outperforms state-of-the-art methods in both service level and bike distribution. It also transfers well when applied to unseen areas.

연구 동기 및 목표

• 도크리스 자전거 공유 시스템에서 지속적인 자전거 불균형 문제를 해결함으로써 서비스 품질과 운영 효율성을 향상시키기 위해.
• 사용자 행동을 활용한 금전적 인센티브를 기반으로 규모가 크고 예산을 고려하며 유연한 재균형 전략을 개발하기 위해.
• 공간적 및 시간적 동적 요소를 포함한 마르코프 결정 과정으로 재균형 문제를 모델링하기 위해.
• 정확한 수요 예측에 의존하지 않고도 복잡한 공간-시간 의존성을 포착하는 딥 강화학습 알고리즘을 설계하기 위해.
• 다양한 공급 수준과 예측 불가능한 지리적 지역에 대해 프레임워크의 성능, 강건성, 일반화 능력을 평가하기 위해.

제안 방법

• HRP는 지역 간 자전거 공급, 수요, 사용자 도착 패턴을 포함한 상태로 구성된 마르코프 결정 과정으로 공식화된다.
• 행동 공간은 공급이 부족하거나 과잉인 지역에서 사용자가 자전거를 빌리거나 반납하도록 유도하기 위한 지역별 금전적 인센티브로 구성된다.
• HRP는 전역 정책과 국지적 모듈을 갖춘 계층적 구조를 사용하여 Q-값을 추정함으로써 공간 의존성 모델링을 향상시킨다.
• 알고리즘은 연속적인 행동 출력을 가능하게 하는 딥 디터미니스틱 정책 기반 강화학습(Deep Deterministic Policy Gradient, DDPG) 기반으로 구축된다.
• 국지적 모듈을 통합하여 지역 주변 동적 변화에 집중함으로써 Q-값 추정을 정교화하고 공간 인식 능력을 향상시킨다.
• 실제 상하이의 Mobike 이동 데이터를 사용하여 오프라인 학습과 온라인 정책 배포를 통해 프레임워크를 훈련 및 평가한다.

실험 결과

연구 질문

• RQ1 정확한 수요 예측에 의존하지 않고 사용자 인센티브를 통해 딥 강화학습 프레임워크가 도크리스 자전거 공유 시스템을 효과적으로 재균형화할 수 있는가?
• RQ2 서비스 수준과 자전거 분포 안정성 측면에서 제안된 HRP 알고리즘이 최신 기술 대비 얼마나 우수한 성능를 보이는가?
• RQ3 특정 지역에서 훈련된 후 HRP가 예측 불가능한 지리적 지역으로 일반화되는 정도는 어느 정도인가?
• RQ4 HRP의 성능가 24타임슬롯 향후 최적 솔루션에 얼마나 가까운가?
• RQ5 다양한 자전거 공급 수준과 장기적인 운영 조건에서 HRP의 강건성은 어떠한가?

주요 결과

• HRP는 자전거 분포의 KL 발산을 0.548로 기록하여 모든 기준 모델과 Mobike 원본 시스템(0.554)을 초월하며 분포 안정성 향상을 나타낸다.
• 다양한 공급 수준에서 HRP는 서비스 불가 비율을 47%~60% 감소시켜 자전거 가용성이 제한된 상황에서도 강건성을 입증한다.
• 5일 동안의 실험 기간 동안 HRP는 HRA 및 OPT-FIX 대비 성능 격차가 점점 커지며 장기적 보상 극대화 능력이 뛰어나다는 것을 보여준다.
• HRP의 성능는 24타임슬롯 향후 최적 솔루션에 비해 2% 이내로 매우 높으며, HRA는 4타임슬롯 최적화 성능에 그치는 등 뚜렷한 성능 격차를 보인다.
• HRP는 훈련된 지역 외부의 지역으로도 잘 일반화되며, 테스트 지역의 80%에서 서비스 불가 비율을 40%~80% 감소시켰고, 누적분포함수(CDF)가 항상 HRA의 오른쪽에 위치하여 우수한 일반화 능력을 입증한다.
• HRP의 국지적 모듈은 공간 의존성 모델링을 향상시켜 더 정확한 Q-값 추정과 더 효과적인 인센티브 배분을 가능하게 한다.