[논문 리뷰] Deep Reinforcement Learning for Intelligent Transportation Systems

Xiaoyang Liu, Zihan Ding외 2명|arXiv (Cornell University)|2018. 12. 03.

Traffic control and management참고 문헌 16인용 수 31

한 줄 요약

이 논문은 지능형 교통 시스템에서 스케일링 가능한 실시간 신호등 제어를 위한 딥 Q 네트워크(DQN)를 제안하며, 단일 교차로 환경에서는 최적의 정책을 학습하고, 다중 교차로 선형 구조에서는 명시적 구조적 사전 지식 없이도 잠재적인 '그린웨이브' 패턴이 나타나는 것을 확인하여, 원시 관측치로부터 복잡한 교통 조율 행동을 탐지할 수 있음을 입증한다.

ABSTRACT

Intelligent Transportation Systems (ITSs) are envisioned to play a critical role in improving traffic flow and reducing congestion, which is a pervasive issue impacting urban areas around the globe. Rapidly advancing vehicular communication and edge cloud computation technologies provide key enablers for smart traffic management. However, operating viable real-time actuation mechanisms on a practically relevant scale involves formidable challenges, e.g., policy iteration and conventional Reinforcement Learning (RL) techniques suffer from poor scalability due to state space explosion. Motivated by these issues, we explore the potential for Deep Q-Networks (DQN) to optimize traffic light control policies. As an initial benchmark, we establish that the DQN algorithms yield the "thresholding" policy in a single-intersection. Next, we examine the scalability properties of DQN algorithms and their performance in a linear network topology with several intersections along a main artery. We demonstrate that DQN algorithms produce intelligent behavior, such as the emergence of "greenwave" patterns, reflecting their ability to learn favorable traffic light actuations.

연구 동기 및 목표

• 상태공간의 폭발로 인해 기존 강화학습 및 정책 반복 기법이 대규모 교차로 신호 제어에 적용될 때 발생하는 확장성 한계를 해결하기 위해.
• 딥 Q 네트워크(DQN)가 복잡한 도시 교통 환경에서 효과적이고 실시간으로 작동하는 신호등 제어 정책을 학습할 수 있는지 평가하기 위해.
• DQN이 명시적인 구조적 제약 없이도 '그린웨이브' 조율과 같은 지능적인 교통 패턴을 자율적으로 탐지할 수 있는지 조사하기 위해.
• 단일 교차로 설정에서 DQN 성능을 최적 기준과 비교하고, 선형 다중 교차로 구조에서의 확장성을 입증하기 위해.

제안 방법

• 이산 시간 역학과 이차형 혼잡 비용 함수를 갖는 마르코프 결정 과정(MDP)으로 교차로 신호 제어를 수식화한다.
• 학습 안정성 향상과 샘플 효율성 향상을 위해 경험 재생과 타겟 네트워크를 활용한 딥 Q 네트워크(DQN)를 적용한다.
• 서로 다른 온라인 및 타겟 Q 네트워크를 갖는 더블 DQN 버전을 사용하며, 제곱 시간 차이 손실에 기반한 Adam 최적화를 통해 업데이트한다.
• 상태-행동 가치 근사에 대해 평가 및 타겟 네트워크 양쪽 모두에 ReLU 활성화 함수와 완전 연결 계층(200, 100, 40, 2)을 적용한다.
• 할인 인자 γ = 0.99를 사용하고, 차량 도착을 베르누이 분포로 모델링하여 확률 p = 1/4 및 p = 1/8를 적용한다.
• 단일 교차로 및 선형 다중 교차로 구조에서 시뮬레이션을 통해 DQN 성능을 검증하며, 정책 구조와 잠재 행동을 분석한다.

실험 결과

연구 질문

• RQ1 DQN은 단일 교차로 교통 제어 환경에서 정책 반복 기법에 비해 유사한 성능을 달성할 수 있는가?
• RQ2 기존 기법이 상태공간 폭발 문제로 실패하는 선형 다중 교차로 네트워크 구조에서 DQN은 확장성과 유사한 성능을 보일 수 있는가?
• RQ3 DQN은 명시적인 구조적 사전 지식 없이도 '그린웨이브'와 같은 복잡한 조율 패턴을 자율적으로 학습할 수 있는가?
• RQ4 어떤 정성적 지표가 DQN 정책에서 지능적인 교통 조율 행동의 잠재적 발생을 확인하는가?

주요 결과

• 단일 교차로 환경에서 DQN 정책는 정책 반복을 통해 확보된 증명된 최적 정책과 동일한 임계값 구조를 보이며 동일한 성능를 나타낸다.
• DQN 알고리즘은 혼잡 비용 최소화 측면에서 최적 성능을 달성하며, 학습 곡선이 이론적 최적값에 수렴함을 확인하였다.
• 선형 다중 교차로 구조에서 DQN은 교차로 신호를 효과적으로 조율하여 연속적인 차량 대기열 감소를 유도하는 '그린웨이브' 패턴이 나타나게 하였다.
• '그린웨이브' 패턴은 보상 함수나 행동 공간에 명시적으로 포함되어 있지 않았음에도 불구하고 학습 과정에서 자연스럽게 발생하였다.
• DQN 접근법은 강력한 확장성을 보이며, 정책 반복이 계산적으로 불가능한 대규모 시나리오에서도 효과적인 제어를 가능하게 하였다.
• 결과적으로 DQN이 관측 데이터와 보상 피드백만으로도 유리한 교통 조율 구조적 특성을 자율적으로 학습할 수 있음을 확인하였다.