[논문 리뷰] MetaVIM: Meta Variationally Intrinsic Motivated Reinforcement Learning for Decentralized Traffic Signal Control

Liwen Zhu, Peixi Peng외 3명|arXiv (Cornell University)|2021. 01. 04.

Traffic control and management인용 수 4

한 줄 요약

MetaVIM은 이웃 에이전트의 정책에 대한 불확실성을 고려하여 학습을 안정화하는 메타강화학습(Meta-RL) 프레임워크를 제안한다. 이는 작업별 잠재변수와 내재 보상(intrinsic reward)를 사용하여 분산형 교차로 신호 제어를 구현한다. 각 교차로를 메타학습 작업으로 모델링하고, 네 개의 디코더를 통해 관측값과 보상의 불변성을 강제함으로써, CityFlow에서 평균 이동 시간 724.21로 최신 기술 수준을 달성하였다 (기준 모델 대비 1096.82). 이는 다양한 도시 환경에서 뛰어난 일반화 능력과 안정성을 입증한다.

ABSTRACT

Traffic signal control aims to coordinate traffic signals across intersections to improve the traffic efficiency of a district or a city. Deep reinforcement learning (RL) has been applied to traffic signal control recently and demonstrated promising performance where each traffic signal is regarded as an agent. However, there are still several challenges that may limit its large-scale application in the real world. To make the policy learned from a training scenario generalizable to new unseen scenarios, a novel Meta Variationally Intrinsic Motivated (MetaVIM) RL method is proposed to learn the decentralized policy for each intersection that considers neighbor information in a latent way. Specifically, we formulate the policy learning as a meta-learning problem over a set of related tasks, where each task corresponds to traffic signal control at an intersection whose neighbors are regarded as the unobserved part of the state. Then, a learned latent variable is introduced to represent the task's specific information and is further brought into the policy for learning. In addition, to make the policy learning stable, a novel intrinsic reward is designed to encourage each agent's received rewards and observation transition to be predictable only conditioned on its own history. Extensive experiments conducted on CityFlow demonstrate that the proposed method substantially outperforms existing approaches and shows superior generalizability.

연구 동기 및 목표

• 이웃 에이전트의 행동으로 인해 발생하는 불확실성을 고려한 다중 교차로 신호 제어에서 효과적인 분산 정책을 학습하는 데 도전한다.
• 고정형 또는 히ュ리스틱 기반의 신호 제어 방식의 한계를 극복하기 위해, 다양한 교통 패턴에 일반화 가능한 적응형 데이터 기반 학습을 가능하게 한다.
• 학습된 잠재변수를 통한 작업별 동역학 모델링을 통해 부분관측 가능하고 비정상적인 환경에서도 정책의 안정성과 수렴성을 향상시킨다.
• 관련된 교차로 제어 작업의 집합에 대해 메타학습을 수행함으로써, 새로운 불확실한 교통 환경에 신속하게 적응할 수 있도록 한다.
• 관측값과 보상의 불변성을 장려하는 내재 보상 메커니즘을 설계하여 이웃 정책의 영향에 대해 안정적인 학습과 일반화를 향상시킨다.

제안 방법

• 각 교차로를 고유한 잠재변수로 표현하는 작업에 기반한 메타강화학습 문제로 교차로 신호 제어를 재구성한다. 이 잠재변수는 이력 궤적과 작업별 동역학을 코딩한다.
• 과거 궤적에 조건화된 잠재변수를 도입하여 작업별 보상, 전이, 정책의 구조를 표현함으로써 개인화된 정책 적응을 가능하게 한다.
• 현재 에이전트만, 이웃 에이전트만, 둘 다, 또는 둘 다 없을 경우의 네 가지 시나리오에서 다음 관측값과 보상을 예측하기 위해 네 개의 디코더를 배치한다. 모든 예측은 잠재변수에 조건화된다.
• 이웃 정책이 포함되거나 제거된 경우의 예측 간 차이를 최소화하는 내재 보상을 설계하여 불변성과 학습 안정성을 증진한다.
• 내재 보상은 탐색과 이용의 균형을 맞추기 위해, 이웃 행동 변화에 강건한 정책 학습을 장려한다.
• 메타강화학습 목표를 사용하여 정책을 종합적으로 학습함으로써, 최소한의 피지테이닝으로 새로운 시나리오에 신속하게 적응할 수 있도록 한다.

Figure 1: Illustration of the task uncertainty in multi-intersection control scenario. For intersection 1, the current policy is to choose North-South-Straight-Green conditioned on its local observation. However, under the same state, take the same action, when neighbour’s policy changes, transition

실험 결과

연구 질문

• RQ1 작업별 잠재변수를 활용한 메타강화학습이 다양한 불확실한 도시 환경에서 분산형 교차로 신호 제어의 일반화 능력을 향상시키는가?
• RQ2 예측 디코더를 통한 이웃 정책 불확실성 모델링이 다중 에이전트 교통 제어에서 정책의 안정성과 수렴성에 어떻게 기여하는가?
• RQ3 관측값과 보상의 불변성을 기반으로 한 내재 보상이 부분관측 가능하고 비정상적인 교통 환경에서 학습 효율성과 성능 향상에 어느 정도 영향을 미치는가?
• RQ4 메타강화학습을 통해 학습된 분산 정책이 대규모 실생활 교통 네트워크에서 중심화 또는 독립형 강화학습 기반 모델보다 우월한 성능을 보일 수 있는가?
• RQ5 제안된 방법은 다양한 도시와 교통 조건에서 발생하는 교통 패턴의 분포 이동을 어떻게 다루는가?

주요 결과

• MetaVIM은 항저우, 지난, 뉴욕, 선전의 네 개의 실도시에서 평균 이동 시간 724.21을 달성하였으며, 기준 모델(1096.82)과 CoLight(767.75), MetaLight(1147.33) 등 기존 방법보다 뚜렷한 성능 향상을 보였다.
• 실도시 테스트 모드에서 MetaVIM은 기준 모델 대비 평균 이동 시간을 30.5% 감소시켰으며, 항저우(44.8%), 지안(34.7%), 뉴욕(28.6%), 선전(30.4%)에서 각각의 성과 향상을 기록했다.
• 이 방법은 재학습 없이도 혼합된 저밀도, 혼합된 고밀도, 실생활 교통 패턴에서 뛰어난 일반화 능력을 보였다.
• 내재 보상 메커니즘은 이웃 정책 포함 및 제거 시나리오 간 예측 오차의 차이를 감소시켜 안정적이고 강인한 정책 학습에 기여했다.
• MetaVIM은 모든 도시와 교통 조건에서 CoLight, PressLight, SOTL 등 최신 기술 수준의 방법보다 뛰어난 성능을 보였으며, 특히 변동성이 높은 시나리오에서 두각을 나타냈다.
• 제거 실험 결과, 잠재변수와 내재 보상 모두 필수적임을 확인하였다. 둘 중 하나를 제거할 경우 성능 저하가 심각하게 발생하여, 일반화와 안정성 향상에 기여하는 역할을 입증하였다.

Figure 2: The illustration of POMDPs in traffic signal control. We formulate the traffic signal control as a meta-learning problem across multiple POMDPs. In a POMDP, agent can only obtain its local observation and regard the neighbours’ policies as the unobserved part of the environment.