[논문 리뷰] Message-Dropout: An Efficient Training Method for Multi-Agent Deep Reinforcement Learning

Woojun Kim, Myung-sik Cho외 1명|arXiv (Cornell University)|2019. 02. 18.

Reinforcement Learning in Robotics참고 문헌 15인용 수 6

한 줄 요약

이 논문은 메시지 블록을 무작위로 제거하고 학습된 보정 확률로 보완함으로써 성능과 내성적 안정성을 향상시키는 다중 에이전트 강화학습을 위한 훈련 기법인 메시지 드롭아웃을 제안한다. 이는 직접 통신 및 중심집합 훈련/분산 실행 설정 모두에서 훈련 속도와 안정 상태 성능을 향상시키며, 특히 실제 실행 시 통신 장애에 강건한 정책을 만드는 데 기여한다.

ABSTRACT

In this paper, we propose a new learning technique named message-dropout to improve the performance for multi-agent deep reinforcement learning under two application scenarios: 1) classical multi-agent reinforcement learning with direct message communication among agents and 2) centralized training with decentralized execution. In the first application scenario of multi-agent systems in which direct message communication among agents is allowed, the message-dropout technique drops out the received messages from other agents in a block-wise manner with a certain probability in the training phase and compensates for this effect by multiplying the weights of the dropped-out block units with a correction probability. The applied message-dropout technique effectively handles the increased input dimension in multi-agent reinforcement learning with communication and makes learning robust against communication errors in the execution phase. In the second application scenario of centralized training with decentralized execution, we particularly consider the application of the proposed message-dropout to Multi-Agent Deep Deterministic Policy Gradient (MADDPG), which uses a centralized critic to train a decentralized actor for each agent. We evaluate the proposed message-dropout technique for several games, and numerical results show that the proposed message-dropout technique with proper dropout rate improves the reinforcement learning performance significantly in terms of the training speed and the steady-state performance in the execution phase.

연구 동기 및 목표

• 에이전트 간의 통신으로 인해 다중 에이전트 딥 강화학습(MADRL)에서 입력 차원이 증가하는 문제를 해결하기 위해.
• 통합 관측값과 메시지에서 유래한 큰 입력 공간을 가진 MADRL에서 훈련 효율성과 수렴 속도를 향상시키기 위해.
• 분산 다중 에이전트 시스템에서 실행 중 통신 오류에 대한 내성적 안정성을 향상시키기 위해.
• MADDPG와 같은 중심집합 훈련/분산 실행(CTDE) 프레임워크에서 큰 크기의 크리틱 입력 차원을 처리함으로써 효과적인 훈련을 가능하게 하기 위해.
• 제한적 또는 신뢰할 수 없는 상호 에이전트 통신이 있는 다양한 MADRL 아키텍처에 일반화 가능한 기법을 제공하기 위해.

제안 방법

• 메시지 드롭아웃은 훈련 중 다른 에이전트로부터 수신한 메시지에 블록 단위 드롭아웃을 적용하여 고정 확률로 전체 메시지 블록을 마스킹한다.
• 손실된 메시지 블록을 보완하기 위해 해당 네트워크 가중치에 학습된 보정 확률을 곱하여 기울기 흐름을 유지한다.
• 이 기법은 액터-크리틱 프레임워크에 통합되며, 특히 크리틱이 모든 에이전트의 통합 관측값과 행동을 처리하는 MADDPG의 중심집합 크리틱에 적용된다.
• 이 기법은 정책 및 가치 네트워크 훈련 모두에 적용되며, 탐색과 안정성의 균형을 이루기 위해 드롭아웃 확률가 조정된다.
• 각 에이전트의 자체 관측값을 위한 네트워크 브랜치는 수신 메시지보다 더 깊은 구조를 사용하여 개별 상태의 중요성을 강조한다.
• 이 기법은 안정적이고 불안정한 통신 환경 모두에서 평가되며, 추론 중 부분적 또는 전체 메시지 손실가 있는 경우도 포함된다.

실험 결과

연구 질문

• RQ1 메시지 드롭아웃은 메시지가 있는 다중 에이전트 딥 강화학습에서 훈련 속도와 최종 성능에 어떤 영향을 미치는가?
• RQ2 메시지 드롭아웃은 분산 다중 에이전트 시스템에서 실행 중 통신 장애에 대해 내성적 안정성을 향상시킬 수 있는가?
• RQ3 훈련 효율성과 안정 상태 성능 측면에서 메시지 드롭아웃의 최적 드롭아웃 비율은 무엇인가?
• RQ4 불안정한 통신 환경에서 메시지 드롭아웃은 독립 학습(FDC) 및 표준 DCC와 같은 기준 방법보다 어떻게 비교되는가?
• RQ5 메시지 드롭아웃은 다양한 MADRL 아키텍처와 통신 패턴에 얼마나 일반화될 수 있는가?

주요 결과

• 최적의 드롭아웃 비율을 가진 메시지 드롭아웃은 다중 에이전트 딥 강화학습 환경에서 훈련 속도와 최종 성능을 크게 향상시킨다.
• 추격 게임에서 실행 중 반수의 통신 링크가 손실된 경우, DCC-MD(DCC에 메시지 드롭아웃 적용)는 표준 DCC와 FDC 모두를 능가한다.
• 모든 통신 링크가 손실된 경우에도 DCC-MD는 표준 DCC보다 더 나은 성능을 보이며, FDC는 여전히 슈퍼리어한 성능을 보이므로 메시지 드롭아웃은 부분 장애 상황에서 내성적 안정성을 향상시킨다.
• 이 기법은 여러 에이전트에서 유래한 고차원 입력 공간에서 입력 차원 증가 문제를 안정화시키고 일반화 성능을 향상시켜 효과적으로 다루며, 특히 고차원 입력 공간에서 유의미한 성능 향상을 이룬다.
• 제거 실험을 통해 메시지 드롭아웃은 비드롭아웃 기준 대비 더 나은 안정 상태 성능과 더 빠른 수렴을 이끌어내는 것으로 확인되었다.
• 이 기법은 직접 통신(DCC) 및 중심집합 훈련/분산 실행(CTDE) 시나리오 모두에서 효과적이며, 광범위한 적용 가능성을 입증한다.