[논문 리뷰] Gamma-Reward: A Novel Multi-Agent Reinforcement Learning Method for Traffic Signal Control.

Junjia Liu, Huimin Zhang외 2명|arXiv (Cornell University)|2020. 02. 27.

Traffic control and management인용 수 2

한 줄 요약

이 논문은 재생 버퍼 정보를 활용한 시공간 보상 형상 조정를 통해 협업을 향상시키는 새로운 다중 에이전트 강화학습 프레임워크인 Gamma-Reward를 제안한다. 중심화된 훈련 없이도 최신 기술 수준의 성능을 달성하며, 시간-공간 차별화 기반의 분산형 확장 가능한 협업 메커니즘을 통해 나시 균형에 수렴함을 입증한다.

ABSTRACT

The intelligent control of the traffic signal is critical to the optimization of transportation systems. To achieve global optimal traffic efficiency in large-scale road networks, recent works have focused on coordination among intersections, which have shown promising results. However, existing studies paid more attention to observations sharing among intersections (both explicit and implicit) and did not care about the consequences after decisions. In this paper, we design a multiagent coordination framework based on Deep Reinforcement Learning methods for traffic signal control, defined as {\gamma}-Reward that includes both original {\gamma}-Reward and {\gamma}-Attention-Reward. Specifically, we propose the Spatial Differentiation method for coordination which uses the temporal-spatial information in the replay buffer to amend the reward of each action. A concise theoretical analysis that proves the proposed model can converge to Nash equilibrium is given. By extending the idea of Markov Chain to the dimension of space-time, this truly decentralized coordination mechanism replaces the graph attention method and realizes the decoupling of the road network, which is more scalable and more in line with practice. The simulation results show that the proposed model remains a state-of-the-art performance even not use a centralized setting. Code is available in this https URL Reward.

연구 동기 및 목표

• 관측 공유에만 초점을 맞춘 기존 다중 에이전트 교통 신호 제어 방법의 한계를 해결하기 위해 행동의 결과를 간과하지 않도록 한다.
• 확장 가능하고 실용적인 도로망 최적화를 가능하게 하는 분산형 협업 메커니즘을 개발한다.
• 재생 버퍼에서 추출한 시간적 및 공간적 정보를 통합한 보상 형상 조정 방법을 설계하여 의사결정 능력을 향상시킨다.
• 제안된 프레임워크 하에서 나시 균형 수렴을 이론적으로 증명한다.
• 중앙 집중적 훈련이나 그래프 어텐션 메커니즘 없이도 대규모 도로망에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 시공간적 맥락을 기반으로 보상을 형상 조정하기 위한 새로운 보상 메커니즘인 γ-Reward(원래의 γ-Reward 및 γ-Attention-Reward 포함)를 제안한다.
• 재생 버퍼에 저장된 시간-공간 정보를 활용해 각 에이전트의 행동 보상을 동적으로 조정하는 공간 차별화 방법을 도입한다.
• 공간-시간 차원을 포함한 마르코프 체인 개념을 확장하여, 그래프 어텐션 또는 중심화된 계산에 의존하지 않는 분산형 협업을 가능하게 한다.
• 도로망을 분리시켜 확장성과 실용성을 향상시키는 진정으로 분산된 프레임워크를 설계한다.
• 제안된 방법이 주어진 조건 하에서 나시 균형에 수렴함을 증명하는 이론적 분석을 수립한다.
• 경험 재생을 활용한 딥 강화학습을 구현하여 안정적이고 효율적인 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 관측 공유를 넘어서 행동의 결과를 통합함으로써 다중 에이전트 교통 신호 제어는 어떻게 향상될 수 있는가?
• RQ2 시공간 보상 형상 조정에 기반한 분산형 협업 메커니즘은 중심화되거나 그래프 어텐션 기반 방법보다 더 높은 성능을 달성할 수 있는가?
• RQ3 제안된 γ-Reward 프레임워크는 다중 에이전트 교통 제어 환경에서 나시 균형에 수렴하는가?
• RQ4 중앙 집중적 훈련이나 명시적 그래프 어텐션 없이 이 방법이 얼마나 높은 성능을 유지할 수 있는가?
• RQ5 재생 버퍼에서 추출한 시간-공간 정보의 통합은 대규모 도로망에서의 협업과 확장성 향상에 어떻게 기여하는가?

주요 결과

• 제안된 γ-Reward 프레임워크는 중심화된 훈련 환경 없이도 교통 신호 제어 분야에서 최신 기술 수준의 성능을 달성한다.
• 공간 차별화 방법은 재생 버퍼에서 추출한 시공간 정보를 활용해 보상 형상 조정을 통해 효과적으로 협업을 향상시킨다.
• 이론적 분석을 통해 방법이 나시 균형에 수렴함을 확인하여 다중 에이전트 환경에서의 안정적 학습을 보장한다.
• 프레임워크는 그래프 어텐션 메커니즘을 공간-시간 확장 마르코프 체인으로 대체하여 진정으로 분산된 구조를 구현하고 확장성을 향상시킨다.
• 시뮬레이션 결과는 이 방법이 대규모 도로망에서 효율성과 확장성 면에서 기존 방법을 능가하는 높은 성능을 유지함을 보여준다.
• 분산 구조와 글로벌 정보에 대한 계산 의존도 감소로 인해 실생활 구현에 더 실용적이다.