[논문 리뷰] Dynamic Pricing and Management for Electric Autonomous Mobility on Demand Systems Using Reinforcement Learning.

Berkay Turan, Ramtin Pedarsani외 1명|arXiv (Cornell University)|2019. 09. 16.

Transportation and Mobility Innovations인용 수 4

한 줄 요약

이 논문은 시간에 따라 변하는 운행 수요, 전기 요금, 재생 에너지 가용성 등을 고려하여 마르코프 결정 과정(MDP)으로 모델링한 전기 자율 이동 서비스를 위한 딥 강화학습(DRL) 기반 동적 가격 설정 및 플릿 관리 정책을 제안한다. 맨해튼과 샌프란시스코 사례 연구에서 정적 기준선 대비 200배 이상 낮은 대기 길이와 더 높은 수익을 달성한다.

ABSTRACT

The proliferation of ride sharing systems is a major drive in the advancement of autonomous and electric vehicle technologies. This paper considers the joint routing, battery charging, and pricing problem faced by a profit-maximizing transportation service provider that operates a fleet of autonomous electric vehicles. We define the dynamic system model that captures the time dependent and stochastic features of an electric autonomous-mobility-on-demand system. To accommodate for the time-varying nature of trip demands, renewable energy availability, and electricity prices and to further optimally manage the autonomous fleet, a dynamic policy is required. In order to develop a dynamic control policy, we first formulate the dynamic progression of the system as a Markov decision process. We argue that it is intractable to exactly solve for the optimal policy using exact dynamic programming methods and therefore apply deep reinforcement learning to develop a near-optimal control policy. Furthermore, we establish the static planning problem by considering time-invariant system parameters. We define the capacity region and determine the optimal static policy to serve as a baseline for comparison with our dynamic policy. While the static policy provides important insights on optimal pricing and fleet management, we show that in a real dynamic setting, it is inefficient to utilize a static policy. The two case studies we conducted in Manhattan and San Francisco demonstrate the efficacy of our dynamic policy in terms of network stability and profits, while keeping the queue lengths up to 200 times less than the static policy.

연구 동기 및 목표

• 수익 극대화를 위한 전기 자율 이동 서비스에서 경로 설정, 배터리 충전, 동적 가격 설정의 병렬 도전 과제를 해결하기 위해.
• 운행 수요, 전기 요금, 재생 에너지 가용성의 시간에 따라 변하고 확률적인 특성을 동적 시스템 프레임워크 내에서 모델링하기 위해.
• 정확한 동적 프로그래밍 해법이 비현실적이므로, 대규모 시스템에 대해 딥 강화학습을 활용해 근사 최적의 제어 정책을 개발하기 위해.
• 정적 기준선 정책을 도출하기 위해 시간 불변 계획 문제를 설정하여 동적 정책과의 성능 비교를 위해.
• 실제 도시 환경에서 동적 정책의 효능을 평가하여 네트워크 안정성과 수익성에 중점을 두기 위해.

제안 방법

• 시간에 따라 변화하고 확률적인 동역학을 반영하기 위해 전기 자율 이동 서비스를 마르코프 결정 과정(MDP)으로 수식화하기 위해.
• 대규모 시스템에서 정확한 동적 프로그래밍 해법이 비현실적이므로, 딥 강화학습(DRL)을 적용하여 근사 최적의 제어 정책을 학습하기 위해.
• 성능 기준선으로 사용하기 위해 시간 불변 매개변수를 가진 정적 계획 문제를 정의하여 용량 영역과 최적의 정적 정책을 유도하기 위해.
• 변동하는 수요, 전기 요금, 재생 에너지 가용성을 포함한 실제 도시 조건을 시뮬레이션하기 위해 맨해튼과 샌프란시스코 사례 연구를 수행하기 위해.
• 시스템 상태 변화에 대응하여 경로 설정, 충전 결정, 동적 가격 설정을 균형 잡고 장기 수익을 극대화하기 위해 DRL 에이전트를 훈련하기 위해.
• 동적 DRL 정책과 정적 정책 간의 대기 길이, 시스템 안정성, 수익 창출 능력 측면에서 성능을 비교하기 위해.

실험 결과

연구 질문

• RQ1 딥 강화학습 기반 동적 가격 설정 및 플릿 관리 정책은 전기 자율 이동 서비스에서 정적 정책과 비교해 네트워크 안정성과 수익성 측면에서 어떻게 다를까?
• RQ2 맨해튼과 샌프란시스코와 같은 고수요 도시 환경에서 DRL 기반 정책은 대기 길이를 얼마나 줄일 수 있을까?
• RQ3 운행 수요, 전기 요금, 재생 에너지 가용성과 같은 시간에 따라 변하는 요소들이 플릿 관리 및 가격 설정 결정에 어떤 영향을 미칠까?
• RQ4 스토케스틱하고 비 stationary한 조건 하에서 동적 정책은 정적 정책 대비 네트워크 안정성을 유지하는 데 얼마나 효과적인가?
• RQ5 학습된 DRL 정책은 실시간 수요 및 전기 요금 변동에 대응하여 경로 설정, 충전, 가격 설정을 효과적으로 균형 잡고 전기 자동차 시스템에서 장기 수익을 극대화할 수 있는가?

주요 결과

• 맨해튼과 샌프란시스코 사례 연구에서 동적 DRL 정책은 정적 정책 대비 대기 길이를 최대 200배까지 감소시켰다.
• 시간에 따라 변하는 수요와 에너지 조건 하에서도 동적 정책는 정적 정책보다 더 높은 수익을 달성하면서 네트워크 안정성도 현저히 높게 유지했다.
• 정적 정책는 기준선으로서의 유용성은 있으나, 변화하는 시스템 매개변수에 적응할 수 없어 실제 동적 환경에서는 비효율적이다.
• DRL 기반 접근법은 실시간 수요 및 전기 요금 변동에 대응하여 경로 설정, 배터리 충전, 동적 가격 설정을 효과적으로 균형 잡는 데 성공했다.
• 정적 계획 문제로부터 도출된 용량 영역는 동적 정책의 성능 평가에 이론적 기반을 제공한다.
• 사례 연구 결과, 전기 자율 이동 서비스 시스템의 확장성과 수익성 있는 운영을 위해서는 동적 제어 정책이 필수적임을 확인했다.