[논문 리뷰] Multi-agent Reinforcement Learning for Networked System Control

Tianshu Chu, Sandeep Chinchali외 1명|arXiv (Cornell University)|2020. 04. 03.

Traffic control and management참고 문헌 23인용 수 62

한 줄 요약

본 논문은 네트워크화된 다중에이전트 강화학습을 시공간 MDP로 공식화하고, 공간 할인 인자를 도입하며, 교통 신호 제어 및 협력적 적응형 크루즈 컨트롤(CACC) 작업에서 학습 및 제어를 개선하기 위해 적응적 신경통신을 가능하게 하는 NeurComm를 제안한다.

ABSTRACT

This paper considers multi-agent reinforcement learning (MARL) in networked system control. Specifically, each agent learns a decentralized control policy based on local observations and messages from connected neighbors. We formulate such a networked MARL (NMARL) problem as a spatiotemporal Markov decision process and introduce a spatial discount factor to stabilize the training of each local agent. Further, we propose a new differentiable communication protocol, called NeurComm, to reduce information loss and non-stationarity in NMARL. Based on experiments in realistic NMARL scenarios of adaptive traffic signal control and cooperative adaptive cruise control, an appropriate spatial discount factor effectively enhances the learning curves of non-communicative MARL algorithms, while NeurComm outperforms existing communication protocols in both learning efficiency and control performance.

연구 동기 및 목표

• 오프라인 학습 하에서 이웃 간 통신을 갖춘 네트워크 제어를 위한 NMARL을 공식화한다.
• 탈중앙화된 환경에서 학습의 안정화를 위한 공간 할인 인자를 도입한다.
• 정보 손실 및 비정상성(비정상성)을 줄이기 위한 미분 가능한 통신 프로토콜인 NeurComm을 제안한다.
• 적응형 교통 신호 제어 및 협력적 적응형 크루즈 컨트롤 시나리오에서 NMARL과 NeurComm을 평가한다.

제안 방법

• 이웃 간 통신을 갖춘 탈중앙화 시공간 MDP로 네트워크 시스템을 모델링한다.
• 에이전트 간 거리에 따라 보상을 가중하기 위한 공간 할인 인자 alpha를 정의한다.
• 메시지에 상태 및 정책 지문을 포함하는 미분 가능한 메시지 인코딩/디코딩 스킴인 NeurComm을 개발한다.
• 지역 관찰 및 이웃 메시지를 사용하여 각 에이전트에 대한 배우-비평가(A2C) 업데이트를 도출한다(정책 손실 및 가치 손실에 대한 방정식).
• 오프라인 롤아웃 훈련 및 오프라인-전역 정보 노출을 사용하여 ATSC 및 CACC 작업에서 통신형 MARL과 비통신형 MARL 기반선을 비교한다.

실험 결과

연구 질문

• RQ1 네트워크 제어에서 비통신 MARL의 학습 안정성과 성능에 공간 할인 인자가 어떤 영향을 미치는가?
• RQ2 학습 가능한 신경통신 프로토콜(NeurComm)이 NMARL에서 기존 프로토콜에 비해 학습 효율성과 제어 성능을 향상시킬 수 있는가?
• RQ3 현실적인 NSC 작업(예: 적응형 교통 신호 제어 및 협력적 적응형 크루즈 컨트롤)에서 NMARL 접근법의 성능은 어떠한가? 이웃 간 통신 하에서.
• RQ4 샘플 효율성, 견고성, 실행 성능 측면에서 통신형과 비통신형 MARL 간의 트레이드오프는 무엇인가?

주요 결과

• 공간 할인 인자는 일반적으로 비통신형 MARL의 학습 곡선을 개선하며, alpha 값은 대개 0.9 이상에 가까워진다.
• NeurComm은 어려운 NSC 시나리오에서 학습 효율성과 제어 성능 측면에서 기존 통신 프로토콜보다 우수하다.
• NeurComm은 ATSC 작업에서 여전히 경쟁력이 있거나 우월하며, 더 복잡한 Monaco 네트워크 설정에서 대안들보다 자주 우수하다.
• 통신 정책은 일부 지표에서 더 빠른 성능을 낼 수 있지만 시나리오에 따라 이질적 네트워크에서 과적합 문제로 어려움을 겪을 수 있다.
• 최적의 공간 할인 인자 및 통신 전략은 시나리오에 따라 달라지며, ATSC 작업에서 NeurComm이 강력한 성능을 보인다.
• 다양한 설정에서 조정된 공간 할인 인자 alpha는 작업의 난이도 및 필요한 협력 수준과 상관관계가 있다.