[논문 리뷰] ES-CTC: A Deep Neuroevolution Model for Cooperative Intelligent Freeway Traffic Control

Yuankai Wu, Huachun Tan외 2명|arXiv (Cornell University)|2019. 05. 10.

Traffic control and management참고 문헌 19인용 수 7

한 줄 요약

이 논문은 지식 공유 레이어를 갖춘 그래프 컬러션 네트워크(GCN)를 사용하여 공간적 교통 의존성을 모델링하고, 진화 전략을 활용하여 지연 보상과 이질적인 제어 주기 문제를 효과적으로 다루는 딥 뉴로진화 모델인 ES-CTC를 제안한다. 이로 인해 확률적 수요 조건 하에서 평균 6725.1대의 차량을 기록하며, DRL 기반 모델들을 능가한다.

ABSTRACT

Cooperative intelligent freeway traffic control is an important application in intelligent transportation systems, which is expected to improve the mobility of freeway networks. In this paper, we propose a deep neuroevolution model, called ES-CTC, to achieve a cooperative control scheme of ramp metering, differential variable speed limits and lane change control agents for improving freeway traffic. In this model, the graph convolutional networks are used to learn more meaningful spatial pattern from traffic sensors, a knowledge sharing layer is designed for communication between different agents. The proposed neural networks structure allows different agents share knowledge with each other and execute action asynchronously. In order to address the delayed reward and action asynchronism issues, the evolutionary strategy is utilized to train the agents under stochastic traffic demands. The experimental results on a simulated freeway section indicate that ES-CTC is a viable approach and outperforms several existing methods

연구 동기 및 목표

• 지연 보상과 이질적인 제어 주기를 가진 상황에서 램프 메터링, 변동 속도 제한, 차선 변경 제어와 같은 다수의 교통 제어 에이전트를 조율하는 과제를 해결한다.
• 정밀한 교통 흐름 모델과 단기 예측에 의존하는 전통적 교통 제어 모델의 한계를 극복한다.
• 확률적 교통 수요 조건 하에서도 일반화 가능한 스케일러블하고 견고한 협동 고속도로 교통 제어 프레임워크를 개발한다.
• 분산된 에이전트 간 지식 공유와 공간 모델링을 통해 고속도로 용량과 교통 효율성을 향상시킨다.
• 복잡한 시간적·공간적 동역학을 가진 협동 교통 제어 시나리오에서 뉴로진화 기법이 DRL보다 뛰어난 성능을 보임을 입증한다.

제안 방법

• 교통 센서 간 공간적 상관관계를 모델링하기 위해 그래프 컬러션 네트워크(GCN)를 활용하여 고속도로 네트워크 내 복잡한 공간적 의존성을 포착한다.
• 독립된 에이전트 간의 통신과 조율을 가능하게 하기 위해 지식 공유 레이어를 도입하여 이질적인 동작 실행을 허용한다.
• 진화 전략(ES)을 학습 프레임워크로 사용하여 최종 에피소드 수익만 피드백으로 요구함으로써 지연 보상과 책임 할당 문제를 자연스럽게 해결한다.
• 학습 중 교통 수요를 확률적 분포로 모델링하여 다양한 교통 조건에서의 강건성과 일반화 능력을 향상시킨다.
• 램프 메터링, 변동 속도 제한, 차선 변경 제어 에이전트가 독립적으로 작동하지만 공유 지식과 공동 최적화를 통해 조율되는 다중 에이전트 프레임워크를 설계한다.
• 병렬 롤아웃을 사용하여 ES 기반 신경망 정책을 학습함으로써 표준 DRL 방법보다 높은 병렬성과 더 빠른 수렴 속도를 달성한다.

실험 결과

연구 질문

• RQ1 뉴로진화 기반 프레임워크는 이질적인 제어 주기를 가진 여러 교통 제어 에이전트를 협동 고속도로 교통 제어 시스템에서 효과적으로 조율할 수 있는가?
• RQ2 그래프 컬러션 네트워크의 통합은 기존의 CNN 또는 완전 연결 네트워크에 비해 교통 센서 데이터의 공간 모델링을 어떻게 향상시키는가?
• RQ3 진화 전략은 다중 에이전트 교통 제어에서 내재된 지연 보상 및 책임 할당 문제를 어느 정도 완화할 수 있는가?
• RQ4 제안된 지식 공유 메커니즘이 이질적인 동작 주기의 에이전트 간 조율을 어떻게 향상시키는가?
• RQ5 특히 흐름과 교통 수요 만족도 측면에서, 확률적 교통 수요 조건 하에서 ES-CTC 모델은 DRL 기반 모델보다 더 잘 일반화되는가?

주요 결과

• ES-CTC는 100개의 확률적 교통 수요 시나리오에서 평균 6725.1대의 차량을 기록하며, DQN-RM(6567.2), TRPO-RM(6563.9), DDPG-DVSL(6642.3)과 같은 DRL 기반 모델들을 뛰어넘는 성능을 보였다.
• 모델은 교통 수요 만족도도 0.7949로 기록했으며, 향상 수준(IL)은 0.0656로 변동 교통 조건을 효과적으로 다루는 데 성공했다.
• ES-CTC 프레임워크는 DRL 모델보다 더 높은 병렬 처리 능력과 더 빠른 학습 속도를 보였으며, 실시간 구현에 더 스케일러블하다.
• DVSL 에이전트는 왼쪽 가장자리 차선에 최대 속도 제한을 설정하여 이들을 추월 차선으로 활용함으로써 오른쪽 차선의 갈등을 줄이는 데 성공했다.
• 모델은 램프 메터링, 변동 속도 제한, 차선 변경 제어를 성공적으로 조율하여 교통 정체를 감소시키고 전체 고속도로의 통과 능력을 향상시켰다.
• 지식 공유 GCN 아키텍처는 이질적인 제어 주기에도 불구하고 에이전트 간 효과적인 소통을 가능하게 하여 조율된 행동을 이끌어냈다.