[논문 리뷰] Partially Observable Reinforcement Learning for Intelligent Transportation Systems.

Rusheng Zhang, Akihiro Ishikawa외 3명|arXiv (Cornell University)|2018. 07. 04.

Traffic control and management인용 수 8

한 줄 요약

이 논문은 V2I 통신을 활용해 낮은 차량 탐지율 조건에서도 작동하는 부분 관찰 가능 강화학습(POMDP 기반) 프레임워크를 제안한다. DSRC 기반 차량에서의 부분 관찰 가능성을 다루기 위해 강화학습을 활용함으로써, 교차로에서 평균 차량 대기 시간을 크게 감소시킨다. 이는 단지 20%의 탐지율 조건에서도 성능이 우수함을 보이며, 다양한 교통 및 네트워크 환경에서 견고한 성능을 발휘한다.

ABSTRACT

Intelligent Transportation Systems (ITS) have attracted the attention of researchers and the general public alike as a means to alleviate traffic congestion. Recently, the maturity of wireless technology has enabled a cost-efficient way to achieve ITS by detecting vehicles using Vehicle to Infrastructure (V2I) communications. Traditional ITS algorithms, in most cases, assume that every vehicle is observed, such as by a camera or a loop detector, but a V2I implementation would detect only those vehicles with wireless communications capability. We examine a family of transportation systems, which we will refer to as `Partially Detected Intelligent Transportation Systems'. An algorithm that can act well under a small detection rate is highly desirable due to gradual penetration rates of the underlying wireless technologies such as Dedicated Short Range Communications (DSRC) technology. Artificial Intelligence (AI) techniques for Reinforcement Learning (RL) are suitable tools for finding such an algorithm due to utilizing varied inputs and not requiring explicit analytic understanding or modeling of the underlying system dynamics. In this paper, we report a RL algorithm for partially observable ITS based on DSRC. The performance of this system is studied under different car flows, detection rates, and topologies of the road network. Our system is able to efficiently reduce the average waiting time of vehicles at an intersection, even with a low detection rate.

연구 동기 및 목표

• 한정된 무선 침투성(예: DSRC)으로 인해 일부 차량만 탐지 가능한 ITS의 교통 제어 문제 해결
• 완전한 차량 탐지에 의존하지 않고 부분 관찰 가능 조건에서도 효과적으로 작동하는 지능형 제어 시스템 개발
• 다양한 탐지율, 교통 흐름, 도로 네트워크 구조에 적응 가능한 강화학습 알고리즘 설계
• 부분적인 교통 상태 감지 조건에서도 교차로에서의 평균 차량 대기 시간 최소화
• 실제 ITS 환경에서 현실적인 탐지 제약 조건 하에 강화학습의 타당성과 견고성 입증

제안 방법

• 부분 관찰 가능한 마르코프 결정 과정(POMDP)으로 교통 제어 문제를 수식화하여 차량 상태 정보의 불완전성 처리
• DSRC 기반 차량만 관찰하고 부분 관찰에서 교통 상태를 추론할 수 있도록 훈련된 딥 강화학습 에이전트 사용
• 긴 대기 시간을 방지하고 교차로에서의 효율적인 신호 주기 조절을 유도하는 보상 함수 설계
• 비정적 교통 조건 하에서 학습 안정성을 확보하기 위해 경험 재생과 타겟 네트워크를 사용해 RL 에이전트 훈련
• 동적 차량 흐름과 변동하는 탐지율을 모델링하는 시뮬레이션 환경에 정책 통합
• 다양한 도로 네트워크 구조와 다양한 수준의 차량 탐지율(10%에서 80%까지)에서 시스템 평가

실험 결과

연구 질문

• RQ1 V2I 기반 ITS에서 차량 탐지율이 감소함에 따라 강화학습 기반 교통 제어기 성능은 어떻게 저하되는가?
• RQ2 차량의 일부만 탐지 가능한 상황에서 부분 관찰 가능 RL 프레임워크가 최적의 신호 주기 결정을 효과적으로 학습할 수 있는가?
• RQ3 낮은 탐지율 조건에서 다양한 교통 흐름 강도와 도로 네트워크 구성에서 시스템 성능는 어떻게 되는가?
• RQ4 부분적인 교통 상태 관찰 가능성이 존재하는 상황에서도 RL 에이전트가 평균 차량 대기 시간을 얼마나 줄일 수 있는가?
• RQ5 RL 기반 시스템이 전통적인 고정 시간 신호 제어 방식을 능가하기 위해 필요한 최소 탐지율은 얼마인가?

주요 결과

• 제안된 RL 기반 시스템은 낮은 탐지율 20% 조건에서도 교차로에서의 평균 차량 대기 시간을 감소시킨다.
• 다양한 교통 조건과 도로 네트워크 구조에서 뛰어난 성능 유지를 보이며, 환경 변화에 대한 견고성을 입증한다.
• RL 에이전트는 부분 관찰에서 교통 상태를 추론하여 전체 차량 시각화 없이도 효과적인 신호 주기 결정을 내릴 수 있다.
• 낮은 탐지율에서 중간 수준의 탐지율까지 성능 향상이 일관되게 유지되어, 초기 단계의 DSRC 도입에 대한 확장성 있음을 시사한다.
• 특히 낮은 탐지 조건에서 기준 고정 시간 신호 제어 전략 대비 대기 시간 감소 측면에서 뛰어난 성능을 보이며 슈퍼어리어를 기록한다.
• 다양한 시뮬레이션 런에서 안정적인 학습 행동과 수렴 특성을 보이며, 동적 환경에서의 신뢰성을 입증한다.