[논문 리뷰] Partially Detected Intelligent Traffic Signal Control: Environmental Adaptation

Rusheng Zhang, Romain Leteurtre외 4명|arXiv (Cornell University)|2019. 10. 23.

Traffic control and management참고 문헌 21인용 수 6

한 줄 요약

이 논문은 부분적 감지율과 차량 유량의 변화에 적응할 수 있도록 정책 기반 강화학습(PPO, A2C, ACKTR)을 부분적 감지 지능형 신호 제어(PD-ITSC)에 적용하는 것을 제안한다. 가치 기반 Q-학습과는 달리 정책 기반 방법은 변화하는 환경에서 더 뛰어난 안정성과 적응성을 보이며, 희박한 감지 조건에서도 평균 대기 시간을 낮게 유지하여, 비용 효율적인 ITS 시스템에 실질적인 구현에 더 적합하다.

ABSTRACT

Partially Detected Intelligent Traffic Signal Control (PD-ITSC) systems that can optimize traffic signals based on limited detected information could be a cost-efficient solution for mitigating traffic congestion in the future. In this paper, we focus on a particular problem in PD-ITSC - adaptation to changing environments. To this end, we investigate different reinforcement learning algorithms, including Q-learning, Proximal Policy Optimization (PPO), Advantage Actor-Critic (A2C), and Actor-Critic with Kronecker-Factored Trust Region (ACKTR). Our findings suggest that RL algorithms can find optimal strategies under partial vehicle detection; however, policy-based algorithms can adapt to changing environments more efficiently than value-based algorithms. We use these findings to draw conclusions about the value of different models for PD-ITSC systems.

연구 동기 및 목표

• 부분적 감지 환경에서 변화하는 감지율에 적응할 수 있는 신호 제어 기술의 도전 과제를 해결한다.
• 부분적 차량 감지 조건이 존재하는 동적 교통 시나리오에서 다양한 강화학습 알고리즘의 성능을 평가한다.
• 환경 변화가 발생할 때 실질적인 PD-ITSC 구현에 가장 효과적이고 안정적인 RL 알고리즘을 규명한다.
• 감지된 차량만을 최적화하는 것이 고밀도 교통 상황에서 전체 차량에 대해 거의 최적의 성능을 달성할 수 있는지 조사한다.
• 장비된 차량의 일부만을 사용하는 비용 효율적인 ITS 구현의 가능성을 평가한다.

제안 방법

• 가상의 도시 교통 환경에서 Q-학습(가치 기반), PPO, A2C, ACKTR(정책 기반)의 네 가지 RL 알고리즘을 구현하고 비교한다.
• LuST 교통 시뮬레이션 환경을 사용하여 다양한 감지율과 차량 밀도 하에서 현실적인 교통 흐름을 모델링한다.
• 감지된 차량만 즉각적인 보상 신호에 기여하는 부분적 보상 설정을 적용한다.
• 감지율이 3년 동안 선형적으로 0.1에서 1.0으로 증가하는 동적 환경을 시뮬레이션하여 적응 능력을 테스트한다.
• 모든 차량의 평균 대기 시간을 최소화하도록 에이전트를 훈련시키며, 감지된 차량과 감지되지 않은 차량의 대기 시간을 별도로 추적한다.
• 희박(자정), 중간(오후), 고밀도(출퇴근 시간)의 세 가지 교통 제도에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 강화학습 알고리즘이 부분적 차량 감지 조건 하에서도 교통 신호 제어를 효과적으로 최적화할 수 있는가?
• RQ2 가치 기반(Q-학습)과 정책 기반(PPO, A2C, ACKTR) RL 알고리즘은 변화하는 감지율에 대해 어떻게 상호 비교되는가?
• RQ3 감지된 차량만 최적화하는 것이 고밀도 교통 상황에서 전체 차량에 대해 거의 최적의 성능을 달성하는가?
• RQ4 고소음 및 감지 패턴의 급격한 변화가 발생하는 환경에서 다양한 RL 알고리즘의 안정성은 어떠한가?
• RQ5 감지율 증가가 전체 시스템 성능과 감지된 차량 및 감지되지 않은 차량 간 공정성에 미치는 영향은 무엇인가?

주요 결과

• 모든 테스트된 RL 알고리즘, Q-학습 포함, 부분적 감지 조건 하에서도 거의 최적의 전략을 찾을 수 있지만, 정책 기반 방법이 환경 변화에 더 효율적으로 적응한다.
• Q-학습은 초기 구현 단계에서 환경 노이즈가 높아 치명적인 업데이트가 발생해 대기 시간이 증가하는 불안정성을 보인다.
• 정책 기반 알고리즘(PPO, A2C, ACKTR)은 감지율 변화가 빈번한 환경에서 상당히 뛰어난 안정성과 낮은 성능 변동성을 보인다.
• 고밀도 교통 조건에서 감지된 차량과 감지되지 않은 차량 간의 대기 시간 격차가 크게 좁혀지며, 감지된 차량 최적화가 전체 시스템 최적화를 근사함을 시사한다.
• 감지율이 증가함에 따라 모든 알고리즘에서 전체 차량의 평균 대기 시간이 감소함을 확인하여 PD-ITSC 시스템의 확장성과 이점이 입증된다.
• PPO와 A2C는 동적 환경 시뮬레이션에서 성능 일관성 면에서 ACKTR를 略로 능가하며, 시간이 지남에 따라 변동 폭이 더 적다.