[논문 리뷰] Optimizing Taxi Carpool Policies via Reinforcement Learning and Spatio-Temporal Mining

Ishan Jindal, Zhiwei Qin외 3명|arXiv (Cornell University)|2018. 11. 11.

Transportation and Mobility Innovations참고 문헌 23인용 수 4

한 줄 요약

이 논문은 교통 효율성을 향상시키기 위해 공간시적 신경망(ST-NN)과 결합된 강화학습(RL) 프레임워크를 제안한다. ST-NN은 특성 공학 없이도 원시 GPS 데이터에서 직접 주행 시간과 거리를 예측하며, RL 에이전트는 효과적인 주행 거리를 극대화하기 위해 캡슐 요청을 수락할 시기를 학습한다. 이 방법은 고정 정책과 표본 Q 정책보다 뛰어나며, 유턴 맨해튼과 같은 저수요 지역에서 특히 뛰어난 장기적 효율성과 교통 혼잡 감소를 보여준다.

ABSTRACT

In this paper, we develop a reinforcement learning (RL) based system to learn an effective policy for carpooling that maximizes transportation efficiency so that fewer cars are required to fulfill the given amount of trip demand. For this purpose, first, we develop a deep neural network model, called ST-NN (Spatio-Temporal Neural Network), to predict taxi trip time from the raw GPS trip data. Secondly, we develop a carpooling simulation environment for RL training, with the output of ST-NN and using the NYC taxi trip dataset. In order to maximize transportation efficiency and minimize traffic congestion, we choose the effective distance covered by the driver on a carpool trip as the reward. Therefore, the more effective distance a driver achieves over a trip (i.e. to satisfy more trip demand) the higher the efficiency and the less will be the traffic congestion. We compared the performance of RL learned policy to a fixed policy (which always accepts carpool) as a baseline and obtained promising results that are interpretable and demonstrate the advantage of our RL approach. We also compare the performance of ST-NN to that of state-of-the-art travel time estimation methods and observe that ST-NN significantly improves the prediction performance and is more robust to outliers.

연구 동기 및 목표

• 도시 택시 시스템에서 교통 효율성을 극대화하고 교통 혼잡을 최소화하는 데이터 기반 캡슐러빙 정책을 개발하기 위해.
• 원시 GPS 데이터를 사용하여 동적인 도시 환경에서 정확한 주행 시간과 거리 추정을 수행하는 과제를 해결하기 위해.
• 실시간 운전자 상태와 향후 수요 전망을 기반으로 최적의 캡슐러빙 수락 결정을 학습하는 강화학습 프레임워크를 설계하기 위해.
• 다양한 도시 지역에서 택시 수요 밀도가 다른 환경에서 고정 정책과 표본 Q 정책과의 성능을 평가하기 위해.
• ST-NN 모델이 수동 특성 공학 없이도 주행 시간과 거리를 예측하는 데 있어 강건성과 확장성을 입증하기 위해.

제안 방법

• 원시 GPS 좌표(출발지 및 목적지)와 시간대를 입력으로 받아 주행 시간과 거리를 예측하는 공간시적 신경망(ST-NN)을 개발하여, 경로 또는 지ap 구성이 필요 없도록 한다.
• 뉴욕시 택시 운행 데이터를 활용해 캡슐러빙 시뮬레이션 환경을 구축하였으며, ST-NN은 주행 시간 추정을 제공하고 RL 에이전트는 상태 전이에 기반해 행동을 선택한다.
• 캡슐러빙 결정 문제를 마르코프 결정 과정(MDP)으로 공식화하였으며, 보상은 각 여행당 효과적인 거리 커버리지로 정의되어 효율성 향상과 혼잡 감소를 유도한다.
• 장기 누적 보상을 극대화하기 위해 각 결정 지점에서 캡슐러빙 요청을 수락할지 여부를 선택하는 정책을 학습하기 위해 딥 Q네트워크(DQN) 에이전트를 훈련시켰다.
• 학습 안정성 향상과 수렴 개선을 위해 DQN 훈련에 소규모 배치 경험 재생과 타겟 네트워크를 사용하였다.
• 뉴욕시 맨해튼 지역의 다양한 수요 제도에서 성능을 평가하기 위해 DQN 정책을 고정 정책(항상 수락)과 표본 Q-학습 정책과 비교하였다.

실험 결과

연구 질문

• RQ1 원시 GPS 데이터를 기반으로 한 딥러닝 모델이 지도나 경로 정보 없이도 주행 시간과 거리를 정확히 예측할 수 있는가?
• RQ2 시뮬레이션된 택시 운행 데이터를 기반으로 학습된 강화학습 에이전트가 고정 정책보다 효과적인 주행 거리 확보와 혼잡 감소 측면에서 뛰어난 캡슐러빙 정책을 학습하는가?
• RQ3 다운타운 맨해튼과 같은 고밀도 수요 지역과 비교해, 저밀도 수요 지역인 유턴 맨해튼과 같은 지역에서 RL 정책의 성능은 어떻게 달라지는가?
• RQ4 기존 최고 수준의 주행 시간 추정 방법에 비해 ST-NN 모델이 예측 정확도와 이상치에 대한 강건성 측면에서 얼마나 향상되었는가?
• RQ5 특히 저수요 지역에서, 단기 보상보다 장기 수익을 고려해 전략적으로 고가치 영역으로 이동함으로써 RL 에이전트가 장기적 이득을 얻기 위해 전략적으로 행동을 조정하는가?

주요 결과

• 유턴 맨해튼에서 DQN에 의해 학습된 정책은 고정 정책과 표본 Q 정책을 모두 앞섰으며, 평일 평균 누적 보상은 46.08, 주말은 27.86을 기록하여 고정 정책의 41.543과 25.39를 상회했다.
• 택시 수요가 높은 다운타운 맨해튼에서는 DQN 정책이 고정 정책과 거의 동일한 성능(평일 339.42 대 340.06)을 보였으며, 이는 고밀도 지역에서는 항상 캡슐러빙을 수락하는 것이 거의 최적임을 시사한다.
• 수동 특성 공학 없이도 ST-NN 모델이 기존 최고 수준의 주행 시간 추정 방법보다 예측 정확도와 이상치에 대한 강건성 측면에서 뚜렷한 승리를 거두었다.
• DQN 에이전트는 특히 저수요 지역인 유턴 맨해튼에서, 즉각적인 보상 손실을 감수하면서도 장기적으로 더 높은 Q-값을 가진 영역으로 이동하기 위해 캡슐러빙 요청을 선택적으로 수락하는 전략을 학습하였다.
• 표본 Q 정책은 매우 넓은 상태-행동 공간에서 Q-값을 유지하는 데 어려움을 겪어, 테스트 시에 자주 0값 예측을 하게 되었으며, 이로 인해 성능이 가장 열 劣했다.
• 유턴 맨해튼에서는 DQN 정책이 오후에 고정 정책과 차이를 보이기 시작하여, 향후 더 높은 가치를 가진 상태에 접근하기 위해 즉각적인 픽업을 유예하는 전략적 장기 계획을 수행함으로써 지능적인 장기적 계획 능력을 입증했다.