[논문 리뷰] Delay-Aware Multi-Agent Reinforcement Learning.

Baiming Chen, Mengdi Xu외 3명|arXiv (Cornell University)|2020. 05. 11.

Traffic control and management참고 문헌 32인용 수 6

한 줄 요약

이 논문은 행동 및 관측 지연을 지연 인식 마르코프 게임를 통해 모델링하는 지연 인식 다중 에이전트 강화학습 프레임워크를 제안한다. 이는 비정합성과 성능 저하를 완화하기 위해 중심화된 훈련과 분산 실행을 가능하게 한다. 실험 결과, 협동적 탐색, 통신, 경쟁 및 실세계 교통 조정을 포함한 지연 환경에서 뚜렷한 성능 향상이 나타났다.

ABSTRACT

Action and observation delays exist prevalently in the real-world cyber-physical systems which may pose challenges in reinforcement learning design. It is particularly an arduous task when handling multi-agent systems where the delay of one agent could spread to other agents. To resolve this problem, this paper proposes a novel framework to deal with delays as well as the non-stationary training issue of multi-agent tasks with model-free deep reinforcement learning. We formally define the Delay-Aware Markov Game that incorporates the delays of all agents in the environment. To solve Delay-Aware Markov Games, we apply centralized training and decentralized execution that allows agents to use extra information to ease the non-stationary issue of the multi-agent systems during training, without the need of a centralized controller during execution. Experiments are conducted in multi-agent particle environments including cooperative communication, cooperative navigation, and competitive experiments. We also test the proposed algorithm in traffic scenarios that require coordination of all autonomous vehicles to show the practical value of delay-awareness. Results show that the proposed delay-aware multi-agent reinforcement learning algorithm greatly alleviates the performance degradation introduced by delay. Codes available at: this https URL.

연구 동기 및 목표

• 실세계 다중 에이전트 사이버-물리 시스템에서 행동 및 관측 지연의 과제를 해결한다.
• 다중 에이전트 강화학습에서 에이전트 상호작용의 지연으로 인한 비정합성 훈련 문제를 해결한다.
• 중심화된 제어기가 필요 없이 훈련 중에 지연을 명시적으로 고려하는 모델리스 딥 강화학습 방법을 개발한다.
• 자율 주행 차량 교통 관리와 같은 복잡한 조율 작업에 대한 실용적 적용성을 입증한다.

제안 방법

• 모든 에이전트의 지연을 환경 동역학에 통합한 지연 인식 마르코프 게임를 공식적으로 정의한다.
• 지연된 상태 및 행동 이력에 접근 가능한 중심화된 훈련을 통해 학습 안정성과 비정합성 감소를 도모한다.
• 분산 실행을 통해 에이전트는 국지적 관측과 내부 메모리에 기반해 행동할 수 있으며, 중심 제어기에 의존하지 않는다.
• 지연 피드백 하에서 학습 안정성을 높이기 위해 다중 에이전트 DQN 유사 아키텍처에서 경험 재생 및 타겟 네트워크를 활용한다.
• 시간적 의존성을 유지하기 위해 지연된 관측 및 행동을 에이전트의 경험 버퍼에 통합한다.
• 지연된 상태-행동 쌍을 사용한 가치 기반 딥 강화학습을 적용해 지연 환경에서 정책 학습을 향상시킨다.

실험 결과

연구 질문

• RQ1 행동 및 관측 지연은 다중 에이전트 강화학습에서 성능을 어떻게 악화시키는가?
• RQ2 지연된 정보를 활용한 중심화된 훈련이 지연된 다중 에이전트 환경에서 학습 안정성과 성능을 향상시킬 수 있는가?
• RQ3 지연 인식 모델링이 협동적 및 경쟁적 다중 에이전트 작업에서 성능 저하를 어느 정도 감소시키는가?
• RQ4 제안된 방법은 통신 지연 하에서 자율 주행 차량 조율과 같은 실세계 시나리오에 얼마나 잘 일반화되는가?

주요 결과

• 제안된 알고리즘은 협동적 탐색 및 통신 작업에서 지연으로 인한 성능 저하를 뚜렷이 감소시킨다.
• 경쟁적 다중 에이전트 환경에서는 표준 다중 에이전트 강화학습 대비 지연 피드백 하에서도 지연 인식 접근 방식이 성능을 유지하거나 향상시킨다.
• 매우 큰 지연이 존재하는 상황에서도 안정적인 학습과 수렴을 달성하며, 지연된 마르코프 게임에서 기준 알고리즘보다 우수한 성능을 보인다.
• 교통 조율 시나리오에서는 통신 및 감지 지연이 존재하더라도 자율 주행 차량 간 효과적인 조율을 가능하게 한다.
• 중앙 집중적 훈련과 분산 실행 전략은 추론 시 실시간 조율이 필요 없이도 비정합성을 효과적으로 완화한다.
• 실험 결과는 지연을 명시적으로 모델링할 경우 실세계 적용 가능 환경에서 더 견고하고 신뢰할 수 있는 다중 에이전트 정책을 도출할 수 있음을 확인한다.