[논문 리뷰] Optimizing Online Matching for Ride-Sourcing Services with Multi-Agent Deep Reinforcement Learning

Jintao Ke, Feng Xiao외 2명|arXiv (Cornell University)|2019. 02. 17.

Transportation and Mobility Innovations참고 문헌 20인용 수 30

한 줄 요약

이 논문은 릴레이스어빙 서비스에서 온라인 매칭을 최적화하기 위해 다중 에이전트 딥 강화학습(DRL)과 조합 최적화를 조합한 이단계 프레임워크를 제안한다. 시공간 다중 에이전트 DRL(ST-M-DQN 및 ST-M-A2C)을 사용해 지연 매칭 시간을 동적으로 결정함으로써, 평균 픽업 시간을 단축하면서도 높은 매칭 비율을 유지함으로써 기존 기준 방법에 비해 시스템 효율을 크게 향상시킨다.

ABSTRACT

Ride-sourcing services are now reshaping the way people travel by effectively connecting drivers and passengers through mobile internets. Online matching between idle drivers and waiting passengers is one of the most key components in a ride-sourcing system. The average pickup distance or time is an important measurement of system efficiency since it affects both passengers' waiting time and drivers' utilization rate. It is naturally expected that a more effective bipartite matching (with smaller average pickup time) can be implemented if the platform accumulates more idle drivers and waiting passengers in the matching pool. A specific passenger request can also benefit from a delayed matching since he/she may be matched with closer idle drivers after waiting for a few seconds. Motivated by the potential benefits of delayed matching, this paper establishes a two-stage framework which incorporates a combinatorial optimization and multi-agent deep reinforcement learning methods. The multi-agent reinforcement learning methods are used to dynamically determine the delayed time for each passenger request (or the time at which each request enters the matching pool), while the combinatorial optimization conducts an optimal bipartite matching between idle drivers and waiting passengers in the matching pool. Two reinforcement learning methods, spatio-temporal multi-agent deep Q learning (ST-M-DQN) and spatio-temporal multi-agent actor-critic (ST-M-A2C) are developed. Through extensive empirical experiments with a well-designed simulator, we show that the proposed framework is able to remarkably improve system performances.

연구 동기 및 목표

• 동적 릴레이스어빙 시스템에서 승객 대기 시간, 픽업 시간, 매칭 성공률 간의 상충 관계를 해결하기 위해.
• 요청을 풀에 보관하여 더 많은 운전자와 승객을 누적시켜 매칭 품질을 향상시키는 지연 매칭의 잠재적 이점을 탐색하기 위해.
• 강화학습을 활용해 각 승객 요청에 대한 최적의 매칭 지연 시간을 동적으로 실시간으로 결정하는 의사결정 메커니즘 개발하기 위해.
• 고차원적이고 비정상적인 환경에서 확장 가능하고 적응 가능한 파견을 위해 다중 에이전트 딥 강화학습을 전통적인 조합 최적화와 통합하기 위해.
• 제안된 프레임워크가 평균 픽업 시간을 단축하면서도 높은 요청 완료 비율을 유지하는지 평가하기 위해.

제안 방법

• 프레임워크는 두 단계로 구성된다: 상단에 다중 에이전트 딥 강화학습(DRL) 모듈이 있고, 하단에 볼록 조합 최적화 모듈이 있다.
• DRL 모듈은 ST-M-DQN과 ST-M-A2C라는 두 모델을 사용하여 시공간 상태 특징 기반으로 각 승객 요청에 대한 최적의 지연 매칭 시간을 학습한다.
• 각 에이전트(승객 요청)는 각 시간 간격에서 매칭 풀에 진입할지 여부를 결정하며, 이 의사결정을 순차적 행동 선택 문제로 모델링한다.
• 조합 최적화 단계는 최소비용 이분 매칭(예: 쿤-문크레스 유사 알고리즘)을 사용하여 대기 중인 승객에게 유휴 운전자를 할당하여 총 픽업 시간을 최소화한다.
• DRL 에이전트는 운전자 및 승객 위치와 같은 실시간 수요-공급 역학을 관찰하며, 즉각적인 매칭과 지연에 의한 향후 이득 간의 균형을 이루는 정책을 학습한다.
• 프레임워크는 실제 릴레이스어빙 데이터를 활용한 잘 설계된 시뮬레이터를 사용해 훈련 및 평가되며, 확률적이고 동적인 수요-공급 패턴을 반영한다.

실험 결과

연구 질문

• RQ1 지연 매칭이 매칭 성공률을 훼손하지 않으면서도 릴레이스어빙 시스템에서 평균 픽업 시간을 상당히 감소시킬 수 있는가?
• RQ2 다중 에이전트 딥 강화학습이 각 개별 승객 요청에 대한 최적의 매칭 지연 시간을 효과적으로 동적으로 결정하는 데 어떻게 적용될 수 있는가?
• RQ3 DRL과 조합 최적화를 조합한 경우 순수 최적화 또는 기준 강화학습 방법에 비해 성능 향상은 어느 정도인가?
• RQ4 시공간 특징과 다중 에이전트 간 협업은 대규모 비정상적인 파견 환경에서 의사결정을 어떻게 향상시키는가?
• RQ5 실시간 릴레이스어빙 운영에서 이론적으로 대기 시간, 픽업 시간, 매칭 비율 간의 상충 관계를 어느 정도 잘 균형 잡을 수 있는가?

주요 결과

• 제안된 ST-M-DQN 및 ST-M-A2C 모델은 기준 최적화 및 기타 벤치마크 대비 평균 픽업 시간을 상당히 감소시킨다.
• 프레임워크는 시스템 효율성 향상에 뚜렷한 기여를 하였으며, 평균 픽업 시간은 상당한 폭으로 감소했고, 요청 완료 비율 손실는 최소한도로 유지되었다.
• DRL에 의해 제어되는 지연 매칭은 더 많은 운전자와 승객가 풀에 누적되므로 더 나은 매칭 품질을 이끌어내며, 픽업 거리가 단축된다.
• 다중 에이전트 DRL 접근법은 동적인 수요-공급 변동성을 효과적으로 포착하고 실시간으로 매칭 결정을 적응시키며, 단일 에이전트 또는 비학습 기반 기준보다 뛰어난 성능을 보인다.
• 실험 결과는 이단계 프레임워크가 대기 시간과 픽업 시간 간의 상충 관계를 잘 균형 잡고 있음을 보여주며, 복잡한 환경에서의 강인성과 확장성을 입증한다.
• 시공간 DRL과 조합 최적화의 통합은 파견 성능 향상에 효과적이며, 프레임워크의 실생활 릴레이스어빙 플랫폼 적용 가능성에 대한 타당성을 입증한다.