[논문 리뷰] Learning Implicit Credit Assignment for Multi-Agent Actor-Critic.

Meng Zhou, Ziyu Liu외 3명|arXiv (Cornell University)|2020. 07. 06.

Reinforcement Learning in Robotics참고 문헌 14인용 수 14

한 줄 요약

이 논문은 LICA를 제안하며, 이는 공동 다중 에이전트 강화학습에서 보상 분배 문제를 암묵적으로 해결하기 위해 초점화된 비평가를 기반으로 한 하이퍼네트워크를 사용하고, 탐색을 위해 적응형 엔트로피 정규화를 유지함으로써 성능을 햖थ한다. LICA는 다중 에이전트 입자 환경과 스타크래프트 II 미크로매니지먼트 작업에서 이전 방법들을 능가한다.

ABSTRACT

We present a new policy-based multi-agent reinforcement learning algorithm that implicitly addresses the credit assignment problem under fully cooperative settings. Our key motivation is that credit assignment may not require an explicit formulation as long as (1) the policy gradients of a trained, centralized critic carry sufficient information for the decentralized agents to maximize the critic estimate through optimal cooperation and (2) a sustained level of agent exploration is enforced throughout training. In this work, we achieve the former by formulating the centralized critic as a hypernetwork such that the latent state representation is now fused into the policy gradients through its multiplicative association with the agent policies, and we show that this is key to learning optimal joint actions that may otherwise require explicit credit assignment. To achieve the latter, we further propose a practical technique called adaptive entropy regularization where magnitudes of the policy gradients from the entropy term are dynamically rescaled to sustain consistent levels of exploration throughout training. Our final algorithm, which we call LICA, is evaluated on several benchmarks including the multi-agent particle environments and a set of challenging StarCraft II micromanagement tasks, and we show that LICA significantly outperforms previous methods.

연구 동기 및 목표

• 협동 다중 에이전트 강화학습에서 명시적 보상 분해 없이 보상 분배 문제를 해결하기 위해.
• 중앙집중식 비평가에서 유도된 정책 기울기를 통해 분산형 에이전트가 최적의 공동 행동을 학습할 수 있도록 하기 위해.
• 동적 엔트로피 정규화 기법을 통해 훈련 전반에 걸쳐 일관된 탐색 수준을 유지하기 위해.
• 스타크래프트 II 미크로매니지먼트 작업과 같은 도전적인 다중 에이전트 벤치마크에서 성능 향상시키기 위해.

제안 방법

• 잠재 상태 표현을 고려하여 정책 기울기를 생성하는 하이퍼네트워크로 중앙집중식 비평가를 설정하기 위해.
• 잠재 상태 표현을 정책 기울기에 곱하기 방식으로 융합하여, 공유된 가치 추정을 통한 암묵적 보상 분배를 가능하게 하기 위해.
• 엔트로피 항의 크기를 동적으로 조정하여 탐색을 지속하는 적응형 엔트로피 정규화 도입하기 위해.
• 비평가의 가치 추정과 엔트로피 정규화에 영향을 받는 정책 기울기를 사용하여 정책 네트워크를 훈련하기 위해.
• 모든 에이전트의 가치 목표를 제공함으로써 공동 행동 최적화를 가능하게 하는 중앙집중식 비평가 사용하기 위해, 명시적 보상 분배 없이도.

실험 결과

연구 질문

• RQ1 잠재 상태 정보를 정책 기울기에 통합하는 하이퍼네트워크 기반 비평가를 통해 암묵적 보상 분배를 달성할 수 있는가?
• RQ2 적응형 엔트로피 정규화를 통해 일관된 탐색 수준을 유지하면 다중 에이전트 환경에서 학습 안정성과 성능 향상이 이루어지는가?
• RQ3 명시적 보상 분해 없이도 정책 기반 다중 에이전트 알고리즘이 복잡한 협동 작업에서 기존 방법들을 능가할 수 있는가?
• RQ4 제안된 방법은 스타크래프트 II 미크로매니지먼트 작업과 같은 도전적인 환경으로 어떻게 스케일링되는가?

주요 결과

• LICA는 다중 에이전트 입자 환경 벤치마크에서 이전 방법들을 크게 능가한다.
• 알고리즘은 도전적인 스타크래프트 II 미크로매니지먼트 작업에서 뛰어난 성능을 달성하여 복잡한 협동 환경에서의 강건성을 입증한다.
• 적응형 엔트로피 정규화가 훈련 전반에 걸쳐 일관된 탐색 수준을 유지하는 데 성공하여 정책 학습의 안정성을 향상시킨다.
• 하이퍼네트워크 기반 비평가는 암묵적 보상 분배를 가능하게 하여, 명시적 보상 분해 없이도 에이전트가 최적의 공동 행동을 학습할 수 있도록 한다.