[논문 리뷰] Two Phase $Q-$learning for Bidding-based Vehicle Sharing

Yinlam Chow, Jia Yuan Yu외 1명|arXiv (Cornell University)|2015. 09. 29.

Transportation and Mobility Innovations참고 문헌 25인용 수 3

한 줄 요약

이 논문은 수익을 극대화하면서 차량 이용률 제약을 준수하는 것을 목표로 하는 입찰 기반 차량 공유 시스템을 위한 이단계 Q-학습 알고리즘을 제안한다. 이 방법은 제약이 있는 마르코프 결정 과정(CMDP)으로 문제를 모델링하고, 이중 단계 벨먼 최적성 조건을 유도하며, 수치 실험을 통해 기존의 처벌 Q-학습 또는 라그랑주 배경 기반 액터-크리틱 방법보다 빠르게 수렴하고 더 잘 제약을 만족함을 보여준다.

ABSTRACT

We consider one-way vehicle sharing systems where customers can rent a car at one station and drop it off at another. The problem we address is to optimize the distribution of cars, and quality of service, by pricing rentals appropriately. We propose a bidding approach that is inspired from auctions and takes into account the significant uncertainty inherent in the problem data (e.g., pick-up and drop-off locations, time of requests, and duration of trips). Specifically, in contrast to current vehicle sharing systems, the operator does not set prices. Instead, customers submit bids and the operator decides whether to rent or not. The operator can even accept negative bids to motivate drivers to rebalance available cars to unpopular destinations within a city. We model the operator's sequential decision-making problem as a \emph{constrained Markov decision problem} (CMDP) and propose and rigorously analyze a novel two phase $Q$-learning algorithm for its solution. Numerical experiments are presented and discussed.

연구 동기 및 목표

• 고정 가격 체계를 대체함으로써 일방 통행 차량 공유 시스템의 수요-공급 불균형 문제를 해결하기 위해 입찰 방식의 가격 체계를 도입한다.
• 수익 극대화 및 차량 이용률 제약 조건을 충족시키는 조건에서 운영자의 순차적 의사결정을 제약이 있는 마르코프 결정 과정(CMDP)으로 모델링한다.
• 약간의 가정 조건 하에 최적 정책으로 수렴하는 샘플 기반 이단계 Q-학습 알고리즘을 개발한다.
• 기존의 방법들과 비교하여 알고리즘의 성능을 실증적으로 평가한다. 대상은 처벌 Q-학습 및 라그랑주 배경 기반 액터-크리틱 접근법이다.
• 이론적으로 탄탄하고 확장 가능한 해결책을 제공하여 운전사 의존도와 주차 공간 과잉 설계 문제를 줄인다.

제안 방법

• 운영자는 입찰 메커니즘을 사용하여 고객이 제시한 입찰을 기반으로 수용 여부를 결정함으로써 동적 가격 설정과 재배치 유인 조건을 제공한다.
• 문제는 수익 극대화를 목표로 하되 최소 평균 차량 이용률 제약을 포함하는 CMDP로 수식화되며, 행동은 입찰에 기반한 임대 배정 결정에 해당한다.
• 이중 단계 벨먼 최적성 조건이 도출되었으며, 이는 라그랑주 승수를 고정한 상태에서 가치 함수를 구하고, 이후 승수를 최적화하는 방식으로 CMDP를 이중 단계 동적 프rogramming으로 해결할 수 있음을 보여준다.
• 제안된 이단계 Q-학습 알고리즘은 임대 결정을 위한 Q-함수 갱신과 이용률 제약을 이행하기 위한 라그랑주 승수 조정을 번갈아 수행한다.
• 각 반복에서 할당 하위 문제는 이차형 정수선형계획문제(BILP)로 표현되며, 중규모 문제의 경우 CPLEX와 같은 표준 솔버로 해결할 수 있다.
• 약간의 정규성 조건 하에 알고리즘이 CMDP의 최적 해에 점차 수렴함을 보장하며, 액터-크리틱 기반 라그랑주 방법보다 수렴 속도가 더 빠르다.

실험 결과

연구 질문

• RQ1 일방 통행 차량 공유 시스템에서 고정 가격 체계를 대체할 수 있는 입찰 메커니즘이 시스템 효율성 향상과 운영 비용 절감에 효과적인가?
• RQ2 수익과 이용률 제약 조건 하에서 운영자의 순차적 의사결정을 제약이 있는 마르코프 결정 과정(CMDP)으로 최적으로 모델링할 수 있는가?
• RQ3 이 맥락에서 CMDP의 최적 정책의 이론적 구조는 무엇이며, 이를 이중 단계 동적 프로그래밍 절차로 분해할 수 있는가?
• RQ4 제안된 이단계 Q-학습 알고리즘이 처벌 Q-학습 및 라그랑주 배경 기반 액터-크리틱 방법과 비교하여 수렴 속도와 제약 이행 측면에서 어떻게 성능을 발휘하는가?
• RQ5 이 알고리즘은 중규모 차량 공유 시스템에 대해 확장 가능하며 성능 보장을 유지할 수 있는가?

주요 결과

• 이단계 Q-학습 알고리즘은 제약이 없는 Q-학습 대비 총 수익을 20% 감소시켰지만, 평균 차량 이용 시간을 2.5시간으로 유지하여 최소 이용률 제약을 충족시켰다.
• 라그랑주 배경 기반 액터-크리틱 방법보다 빠른 수렴 속도를 보였으며, 이는 순차적 기울기 근사와 단계 크기 조정에 민감한 점을 고려할 때 뚜렷한 이점이다.
• 처벌 Q-학습은 평균 이용률 2.73시간을 기록했지만 수익 격차가 28%에 이르러 이용률과 수익 간의 상충 관계를 보였다.
• 제안된 방법은 처벌 Q-학습과 라그랑주 배경 기반 액터-크리틱 방법을 모두 능가하여 수익과 제약 이행 균형을 잘 유지했다.
• CPLEX를 사용하여 50대 이하 차량, 20개 정류장, 12시간 예측 기간까지의 중규모 문제를 성공적으로 해결하였다.
• 약간의 가정 조건 하에 알고리즘이 최적의 CMDP 해에 수렴함을 이론적으로 입증하여 실용적 도입에 탄탄한 기반을 제공한다.