[논문 리뷰] SafeLight: A Reinforcement Learning Method toward Collision-free Traffic Signal Control

Wenlu Du, Junyi Ye외 4명|arXiv (Cornell University)|2022. 11. 20.

Traffic control and management인용 수 8

한 줄 요약

SafeLight는 도메인 특화된 안전 규칙을 강화 학습(RL) 파이프라인에 통합하여 근접한 0회의 충돌을 달성하는 안전 향상 강화 학습 프레임워크를 제안한다. 잔차 학습을 활용해 안전 모듈을 상태, 행동, 보상 및 손실 함수에 통합함으로써, 안전성(0.0회의 충돌)과 이동성(13.07초 평균 지연) 측면에서 기준 RL 방법을 능가하며, 다양한 환경과 행동 공간에서 견고한 일반화 성능을 입증한다.

ABSTRACT

Traffic signal control is safety-critical for our daily life. Roughly one-quarter of road accidents in the U.S. happen at intersections due to problematic signal timing, urging the development of safety-oriented intersection control. However, existing studies on adaptive traffic signal control using reinforcement learning technologies have focused mainly on minimizing traffic delay but neglecting the potential exposure to unsafe conditions. We, for the first time, incorporate road safety standards as enforcement to ensure the safety of existing reinforcement learning methods, aiming toward operating intersections with zero collisions. We have proposed a safety-enhanced residual reinforcement learning method (SafeLight) and employed multiple optimization techniques, such as multi-objective loss function and reward shaping for better knowledge integration. Extensive experiments are conducted using both synthetic and real-world benchmark datasets. Results show that our method can significantly reduce collisions while increasing traffic mobility.

연구 동기 및 목표

• 기존의 이동성 중심 강화 학습 기반 교통 신호 제어 방법이 안전성에 빈도를 두지 않아 충돌 위험이 증가하는 심각한 격차를 보완하기 위해.
• 빨간불 위반, 노란색 단계 지속 시간, 좌회전 갈등과 같은 도메인 특화된 교통 안전 규칙을 RL 프레임워크에 통합하여 충돌 없는 운영을 보장하기 위해.
• 기존의 RL 백본에 재학습 없이도 적용 가능한 모듈식이며 일반화 가능한 안전 향상 기법을 개발하기 위해.
• 다양한 행동 공간과 RL 아키텍처에서 합성 및 실제 환경 기준에서의 성능 평가를 수행하기 위해.
• 보상 설계에 광범위한 조정 없이도 안전성이 신뢰성 있게 확보되며 이동성에 영향을 주지 않도록 보장하기 위해.

제안 방법

• 빨간불 위반, 노란색 단계 지속 시간, 좌회전 갈등 등 기존의 교통 안전 규칙을 기반으로 한 안전 모델을 구축한다.
• 안전 모듈을 RL 파이프라인의 네 가지 구성 요소에 통합한다: 상태 표현, 행동 공간, 보상 형상화, 손실 함수.
• 안전 강화를 주된 RL 정책에서 분리하기 위해 잔차 학습 프레임워크를 활용하여 안정적인 훈련과 모듈식 배포를 가능하게 한다.
• 이동성(지연 최소화)과 안전성(충돌 방지)을 균형 잡는 다목적 손실 함수를 사용하며, 행동 간섭을 통해 안전성을 확보한다.
• SafeLight-Act는 안전 모델이 행동이 위험하다고 판단할 경우 간섭하여 에이전트를 안전 행동으로 이동시키며, SafeLight-R는 잔차 학습을 통해 정책을 정밀하게 보완한다.
• 간섭 후 연속된 상태를 평가하여, 특히 노란색 단계 동안 불안전한 구성이 발생하지 않도록 보장한다.

실험 결과

연구 질문

• RQ1 기존의 RL 기반 교통 신호 제어 방법은 이동성에 영향을 주지 않고 안전성을 확보할 수 있는가?
• RQ2 도메인 특화된 교통 안전 규칙을 어떻게 체계적으로 RL 훈련 파이프라인에 통합할 수 있는가?
• RQ3 제안된 안전 모듈은 다양한 RL 백본과 행동 공간 설계(순환형 대비 비순환형)에 일반화되는가?
• RQ4 근접한 0회의 충돌을 달성하면서도 이동성은 유지하거나 향상시킬 수 있는가?
• RQ5 안전 규칙 통합이 훈련 수렴성과 안정성에 어떤 영향을 미치는가?

주요 결과

• SafeLight는 IPPO 벤치마크에서 0.0회의 충돌을 달성하여 다음으로 우수한 성능을 보인 Syn-R(0.8회의 충돌)와 기준 3DQN(24.5회의 충돌)을 크게 능가했다.
• SafeLight-Act는 평균 지연을 16.57초로 줄여 백본인 3DQN(10.66초)보다 안전성을 확보하면서도 뛰어난 이동성 성능을 유지도했다.
• SafeLight-Loss는 모든 방법 중에서 가장 낮은 평균 지연(13.07초)을 기록했으며, 충돌은 3.8회에 그쳐 효과적인 이동성-안전성 트레이드오���을 입증했다.
• 다양한 행동 공간에서의 일반화 성능이 양호했다: SafeLight-Loss와 SafeLight-Act는 순환형 및 비순환형 설정 모두에서 뛰어난 성능을 유지했으며, Syn-R는 비순환형 설정에서 실패했다.
• SafeLight-Act는 빠른 수렴과 안정된 성능을 보였으며, 간헐적인 안전 간섭이 학습을 악화시키지 않았다. 이는 지연된 보상 신호에 대한 강건성을 시사한다.
• 충돌 시각화 결과, SafeLight-Act는 시기적 타이밍의 변두리 케이스로 인해 모든 노란색 단계 충돌을 방지하지 못했지만, SafeLight-R는 잔차 보완을 통해 이러한 케이스를 성공적으로 회피했다.