[논문 리뷰] Deep Deterministic Policy Gradient for Urban Traffic Light Control

Noé Casas|arXiv (Cornell University)|2017. 03. 27.

Traffic control and management참고 문헌 31인용 수 142

한 줄 요약

이 논문은 도시 규모의 교통 신호 타이밍 최적화를 위해 Deep Deterministic Policy Gradient(DDPG)를 적용하고, 심층 학습을 활용하여 큰 상태-행동 공간을 다룬다. 단일 교차로에서부터 큰 도시 구간에 이르기까지 모델을 실험한다.

ABSTRACT

Traffic light timing optimization is still an active line of research despite the wealth of scientific literature on the topic, and the problem remains unsolved for any non-toy scenario. One of the key issues with traffic light optimization is the large scale of the input information that is available for the controlling agent, namely all the traffic data that is continually sampled by the traffic detectors that cover the urban network. This issue has in the past forced researchers to focus on agents that work on localized parts of the traffic network, typically on individual intersections, and to coordinate every individual agent in a multi-agent setup. In order to overcome the large scale of the available state information, we propose to rely on the ability of deep Learning approaches to handle large input spaces, in the form of Deep Deterministic Policy Gradient (DDPG) algorithm. We performed several experiments with a range of models, from the very simple one (one intersection) to the more complex one (a big city section).

연구 동기 및 목표

• 대규모 도시 네트워크에서 교통 신호 타이밍 최적화의 도전과제를 동기 부여하고 해결한다.
• 고차원 상태 및 행동 공간을 다루기 위한 심층 강화 학습의 활용을 탐색한다.
• 검지기 데이터를 활용하여 교통 신호를 전체적으로 제어하는 확장 가능한 프레임워크를 개발한다.
• 단순한 것에서 대규모 시뮬레이션까지 점진적으로 복잡해지는 네트워크 구성에서 성능을 평가한다.

제안 방법

• 교통 신호 제어에서 연속적 상태 및 행동 공간을 다루기 위해 DDPG를 채택한다.
• 탐지기 데이터(차량 카운트, 속도, 점유율)를 사용하여 풍부한 상태 표현을 형성한다.
• 교차로 동기화를 존중하도록 시 단위를 조정하여 개별 신호등 색상 대신 페이즈 지속 시간을 조정하는 제어 가능한 행동 공간을 정의한다.
• 네트워크 규모에 따라 성능을 평가하기 위해 시뮬레이션 기반 테스트 베드(Aimsun)를 활용한다.
• 대형 입력 공간을 관리하고 전체적 제어를 가능하게 하기 위해 딥 러닝 기법을 도입한다.

실험 결과

연구 질문

• RQ1 풀 네트워크 검지기 데이터를 사용하여 DDPG로 도시 교통 신호 타이밍을 효과적으로 최적화할 수 있는가?
• RQ2 단일 교차로에서 더 큰 도시 구간으로의 제어 성능과 안정성 측면에서 이 접근 방식은 얼마나 확장되는가?
• RQ3 대규모 교통 네트워크에서 실행 가능하고 안정적인 학습을 가능하게 하는 표현 및 행동 정의는 무엇인가?
• RQ4 실제 세계와 유사한 설정에서 이러한 방법을 배치하기 위한 실용적 고려사항(데이터, 집계, 상태, 보상)은 무엇인가?

주요 결과

• 심층 강화 학습을 도시 전체의 교통 신호 제어에 다양한 네트워크 규모에서 적용 가능함을 보여준다.
• 검지기 데이터로부터의 대규모 상태 표현이 DDPG 프레임워크 내에서 사용될 수 있음을 보여준다.
• 불안정하거나 혼란스러운 타이밍을 피하기 위해 페이즈 동기화를 보존하는 실용적인 행동 공간을 제안한다.
• 실제 검지 데이터와 호환되는 데이터 집계, 상태 구성 및 보상 설계에 대한 체계적인 방법론을 제공한다.
• 딥 RL로 대규모 교통 신호 제어를 평가하기 위한 미시적 시뮬레이터(Aimsun)의 활용 가능성을 강조한다.