[논문 리뷰] Diagnosing Reinforcement Learning for Traffic Signal Control

Guanjie Zheng, Xinshi Zang외 6명|arXiv (Cornell University)|2019. 05. 12.

Traffic control and management참고 문헌 24인용 수 23

한 줄 요약

이 논문은 전통적인 교통 이론에 기반하여 대기 길이를 보상으로, 차량 수를 상태로 사용하는 강화학습 프레임워크인 LIT를 제안한다. 균일한 교통 조건 하에서 총 이동 시간 최소화와 이론적으로 동치임이 입증되며, 보상 및 상태 설계를 단순화함으로써 최신 기술 대비 뛰어난 성능을 달성한다.

ABSTRACT

With the increasing availability of traffic data and advance of deep reinforcement learning techniques, there is an emerging trend of employing reinforcement learning (RL) for traffic signal control. A key question for applying RL to traffic signal control is how to define the reward and state. The ultimate objective in traffic signal control is to minimize the travel time, which is difficult to reach directly. Hence, existing studies often define reward as an ad-hoc weighted linear combination of several traffic measures. However, there is no guarantee that the travel time will be optimized with the reward. In addition, recent RL approaches use more complicated state (e.g., image) in order to describe the full traffic situation. However, none of the existing studies has discussed whether such a complex state representation is necessary. This extra complexity may lead to significantly slower learning process but may not necessarily bring significant performance gain. In this paper, we propose to re-examine the RL approaches through the lens of classic transportation theory. We ask the following questions: (1) How should we design the reward so that one can guarantee to minimize the travel time? (2) How to design a state representation which is concise yet sufficient to obtain the optimal solution? Our proposed method LIT is theoretically supported by the classic traffic signal control methods in transportation field. LIT has a very simple state and reward design, thus can serve as a building block for future RL approaches to traffic signal control. Extensive experiments on both synthetic and real datasets show that our method significantly outperforms the state-of-the-art traffic signal control methods.

연구 동기 및 목표

• 강화학습 기반 교통 신호 제어에서 원칙적인 보상 및 상태 설계의 부족을 해결하기 위해, 일반적으로 사용되는 임의의 가중 조합 기반의 교통 측정치에 의존하는 방식을 개선한다.
• 효율적인 강화학습을 위해 고차원적 상태 표현(예: 이미지)이 필수적인지 여부를 규명한다.
• 강화학습 보상 최적화가 최종 제어 목표인 총 이동 시간 최소화로 이어지는지 보장한다.
• 제거 분석을 통해 효과적인 강화학습의 핵심 구성 요소를 규명한다.
• 강화학습 기반 제어를 고전적 교통 이론과 연결하여 보다 신뢰할 수 있고 해석 가능한 신호 주기 설계를 가능하게 한다.

제안 방법

• 대기 길이를 보상 신호로 사용하는 강화학습 프레임워크인 LIT를 제안하며, 이는 균일한 교통 조건 하에서 총 이동 시간 최소화와 이론적으로 동치임을 증명한다.
• 고차원 입력(예: 이미지)을 피하기 위해 차선별 차량 수만 포함하는 최소한의 상태 표현을 사용한다.
• 웹스터의 지연 공식에서 유도된 이론적 근거를 제시하여, 균일한 도착 조건 하에서 대기 길이 최소화가 총 이동 시간 최소화와 동치임을 보여준다.
• 온라인 학습, 정책 롤아웃을 통한 샘플 가이던스, 벨먼 방정식을 통한 미래 보상 예측이라는 세 가지 핵심 강화학습 특성을 통합한다.
• 단순화된 상태-행동 공간에서 효율적인 학습을 위해 표기형 Q-테이블을 사용하는 Q-학습 기반 알고리즘을 적용한다.
• 온라인 학습, 샘플 가이던스, 예측 구성 요소를 각각 제거하여 제거 분석을 수행함으로써 각 구성 요소의 기여도를 평가한다.

실험 결과

연구 질문

• RQ1 대기 길이 기반 단순 보상이 교통 신호 제어에서 총 이동 시간 최소화를 보장할 수 있는가?
• RQ2 효율적인 강화학습을 위해 고차원적 상태 표현(예: 이미지)이 필수적인가, 아니면 최소한의 상태로도 충분한가?
• RQ3 온라인 학습, 샘플 가이던스, 미래 보상 예측과 같은 핵심 강화학습 구성 요소가 성능에 기여하는 방식은 무엇인가?
• RQ4 강화학습 기반 신호 제어는 고전적 교통 이론에 이론적으로 기반을 두고 있는가?
• RQ5 최소한의 상태 및 보상 설계가 시뮬레이션 및 실세계 교통 환경 모두에서 복잡하고 임의의 설계보다 뛰어난 성능을 발휘하는가?

주요 결과

• 실세계 데이터에서 LIT는 대기 길이를 보상으로, 차량 수를 상태로 사용할 경우 총 이동 시간 31.66초를 기록하며, 모든 최신 기술 대비 뚜렷한 성능 우월성을 보였다.
• 이미지 기반 상태(M)를 사용할 경우 성능이 악화되어 38.16초로 나타났으며, 이는 차량 수만을 사용할 경우(31.66초)보다 열 劣화됨을 시사한다. 이는 고차원 상태가 성능 향상에 기여하지 않음을 의미한다.
• 상태에 대기 시간(W) 또는 대기 길이(L)를 추가해도 차량 수만 사용할 경우와 성능 향상이 없음을 확인하여, 최소한의 상태 표현으로도 충분함을 입증한다.
• 지연(D), 대기 시간(W), 차량 수(V)를 단독 또는 대기 길이(L)와 조합한 보상 설계는 LIT 기준선을 뛰어넘지 못했으며, 최고의 대안인 (V,L) 조합도 33.46초에 그쳤다.
• 온라인 학습, 샘플 가이던스, 예측 구성 요소 중 어느 하나라도 제거할 경우 성능에 심각한 저하가 발생하여, 이 세 요소가 필수적임을 확인했다.
• 실세계 사례 연구에서 온라인 LIT는 19:00 이후 급격한 교통 증가에 적응하는 반면, 오프라인 LIT는 실패하여 혼잡을 유발함으로써 온라인 학습의 핵심적 역할을 입증했다.