[논문 리뷰] An Open-Source Framework for Adaptive Traffic Signal Control

Wade Genders, Saiedeh Razavi|arXiv (Cornell University)|2019. 09. 01.

Traffic control and management참고 문헌 61인용 수 11

한 줄 요약

이 논문은 SUMO와 통합된 오픈소스 시뮬레이션 프레임워크를 제시하며, 기존 방법(웹스터, 최대압력, SOTL)과 딥강화학습 모델(DQN, DDPG)을 포함한 적응형 교통신호 제어기 개발 및 평가를 가능하게 한다. 이 프레임워크는 체계적인 하이퍼파rameter 튜닝과 성능 비교 분석을 가능하게 하며, 최적화된 설정 하에서 DQN과 DDPG 제어기가 고전적 방법보다 뛰어난 성능을 보임을 입증한다.

ABSTRACT

Sub-optimal control policies in transportation systems negatively impact mobility, the environment and human health. Developing optimal transportation control systems at the appropriate scale can be difficult as cities' transportation systems can be large, complex and stochastic. Intersection traffic signal controllers are an important element of modern transportation infrastructure where sub-optimal control policies can incur high costs to many users. Many adaptive traffic signal controllers have been proposed by the community but research is lacking regarding their relative performance difference - which adaptive traffic signal controller is best remains an open question. This research contributes a framework for developing and evaluating different adaptive traffic signal controller models in simulation - both learning and non-learning - and demonstrates its capabilities. The framework is used to first, investigate the performance variance of the modelled adaptive traffic signal controllers with respect to their hyperparameters and second, analyze the performance differences between controllers with optimal hyperparameters. The proposed framework contains implementations of some of the most popular adaptive traffic signal controllers from the literature; Webster's, Max-pressure and Self-Organizing Traffic Lights, along with deep Q-network and deep deterministic policy gradient reinforcement learning controllers. This framework will aid researchers by accelerating their work from a common starting point, allowing them to generate results faster with less effort. All framework source code is available at https://github.com/docwza/sumolights.

연구 동기 및 목표

• 시뮬레이션에서 적응형 교통신호 제어기를 비교하기 위한 표준화된 도구의 부족을 해결하기 위해.
• 다양한 적응형 제어 모델의 재사용 가능하고 오픈소스 구현을 제공하여 연구를 가속화하기 위해.
• 하이퍼파rameter 튜닝이 다양한 알고리즘 간 제어기 성능에 미치는 영향을 조사하기 위해.
• 실제 도시 환경을 반영한 교통 조건 하에서 최적화된 제어기 간 상대적 성능을 비교하기 위해.
• 공유된 코드와 시뮬레이션 구성으로 재현 가능한 연구를 지원하기 위해 지능형 교통 시스템 분야의 연구를 지원하기 위해.

제안 방법

• 프레임워크는 SUMO 교통 마이크로시뮬레이터에 다섯 가지 적응형 교통신호 제어기—웹스터, 최대압력, SOTL, DQN, DDPG—를 통합한다.
• 정류장 정지선으로부터 150미터 이내의 차량 대기열과 밀도를 기반으로 상태 표현을 사용한다.
• DQN과 DDPG 에이전트는 경험 재생과 타겟 네트워크를 사용하여 학습을 안정화시킨다.
• DQN은 타겟 Q값과 예측된 Q값 간의 평균 제곱오차 손실을 사용하며, DDPG는 정책 그래디언트 업데이트를 위한 별도의 액터-크리틱 네트워크를 사용한다.
• 안전성이 고정된 2초 간의 노란색 신호와 3초 간의 전체 빨간색 신호 단계를 통해 보장된다.
• 실제 도시 환경을 반영한 교통 수요 패턴을 포함한 표준화된 시뮬레이션 환경을 사용하여 제어기를 평가한다.

실험 결과

연구 질문

• RQ1 하이퍼파arameter 튜닝은 다양한 적응형 교통신호 제어기 성능에 어떤 영향을 미치는가?
• RQ2 하이퍼파arameter가 최적화되었을 때, 어떤 적응형 교통신호 제어기가 평균 지연을 가장 낮게 하는가?
• RQ3 최적 설정 하에서 딥강화학습 제어기(DQN과 DDPG)는 고전적 히우리스틱 방법(웹스터, 최대압력, SOTL)과 비교해 어떻게 성능을 내는가?
• RQ4 상태 관측 범위(150m)는 제어기 성능과 안정성에 어떤 영향을 미치는가?
• RQ5 이 프레임워크는 다양한 교통신호 제어 알고리즘 간 일관되고 재현 가능한 벤치마킹을 가능하게 하는가?

주요 결과

• 하이퍼파arameter가 최적화되었을 때 DQN과 DDPG 제어기가 고전적 제어기보다 유의미하게 낮은 평균 지연을 기록했다.
• 모든 제어기 간 성능 변동은 하이퍼파arameter 설정에 매우 민감했으며, 특히 DQN과 DDPG에 대해 그러했다.
• SOTL 제어기는 강력한 성능를 보였지만, 최적 튜닝 하에서는 DQN과 DDPG에 뒤지지 않았다.
• 최대압력과 웹스터 제어기는 하이퍼파arameter 변화에 덜 민감했지만, 학습 기반 모델보다 더 높은 지연을 보였다.
• 프레임워크는 모든 제어기 유형 간 일관되고 재현 가능한 평가를 성공적으로 가능하게 하여, 비교 연구에 있어 실용성을 입증했다.
• 안전 단계(노란색 및 전체 빨간색 신호)의 포함으로 모든 제어기 유형에서 충돌을 방지하고 안정적인 운영을 보장했다.