[논문 리뷰] Modeling the Interaction between Agents in Cooperative Multi-Agent Reinforcement Learning

Xiaoteng Ma, Yiqin Yang외 4명|arXiv (Cornell University)|2021. 02. 09.

Reinforcement Learning in Robotics인용 수 9

한 줄 요약

이 논문은 정책 학습을 위한 협업 탐색 모듈과 가치 함수 추정을 위한 공유 주의 메커니즘을 통해 에이전트 간 상호작용을 모델링하는 협동 다중에이전트 강화학습 알고리즘인 Interactive Actor-Critic(IAC)을 제안한다. IAC는 협업, 내구성, 확장성 측면에서 향상되어, 특히 희박한 보상과 부분 관찰 조건에서 SIAQ와 DDPG-MIX와 같은 최신 기법들을 능가한다.

ABSTRACT

Value-based methods of multi-agent reinforcement learning (MARL), especially the value decomposition methods, have been demonstrated on a range of challenging cooperative tasks. However, current methods pay little attention to the interaction between agents, which is essential to teamwork in games or real life. This limits the efficiency of value-based MARL algorithms in the two aspects: collaborative exploration and value function estimation. In this paper, we propose a novel cooperative MARL algorithm named as interactive actor-critic~(IAC), which models the interaction of agents from the perspectives of policy and value function. On the policy side, a multi-agent joint stochastic policy is introduced by adopting a collaborative exploration module, which is trained by maximizing the entropy-regularized expected return. On the value side, we use the shared attention mechanism to estimate the value function of each agent, which takes the impact of the teammates into consideration. At the implementation level, we extend the value decomposition methods to continuous control tasks and evaluate IAC on benchmark tasks including classic control and multi-agent particle environments. Experimental results indicate that our method outperforms the state-of-the-art approaches and achieves better performance in terms of cooperation.

연구 동기 및 목표

• 가치 기반 다중에이전트 강화학습에서 에이전트 간 상호작용을 제한적으로 모델링하는 문제를 해결하여, 협동적 탐색과 가치 함수 추정을 향상시키는 것.
• 정책 및 가치 함수 구성 요소에서 에이전트 간 상호 의존성을 명시적으로 모델링하여 협동 다중에이전트 강화학습의 협업 효율성을 향상시키는 것.
• 이전 방법이 확장성과 표현 능력 측면에서 어려움을 겪는 연속 제어 과제에 가치 분해 방법을 확장하는 것.
• 희박한 보상과 부분 관찰 조건에서 내구성과 확장성을 향상시켜, 실제 협동 과제에서 흔히 발생하는 조건에 대응하는 것.
• 엔트로피 정규화된 협업 탐색과 주의 기반 공동 가치 추정을 통합하는 통합 프레임워크를 개발하는 것.

제안 방법

• 공동 정책 학습을 위해 엔트로피 정규화된 기대 수익을 최대화하는 협업 탐색 모듈을 도입하여, 다중에이전트 공동 스토케스틱 정책을 훈련시켜, 조율된 행동을 촉진한다.
• 각 에이전트의 가치 함수를 추정하기 위해 공유 주의 메커니즘을 활용하여, 동료 에이전트의 행동이 공동 결과에 미치는 영향을 포착한다.
• IGM 유사 제약 하에 공동 가치 함수를 분해할 수 있는 개별 행동-가치 함수를 학습시켜, 가치 분해 방법을 연속 제어 과제로 확장한다.
• 중앙집중적 훈련과 분산 실행(CTDE) 프레임워크를 사용하여, 공동 정책 최적화를 유지하면서도 분산 추론을 가능하게 한다.
• 개별 및 집단 보상을 균형 잡는 새로운 목표로 상호 가치 함수 정보(MVFI)를 적용하여 협업을 향상시킨다.
• 개별 정책을 엔트로피 최대화를 통해 결합하는 공동 정책 훈련 방식을 구현하여, 다양하고 조율된 탐색을 장려한다.

실험 결과

연구 질문

• RQ1 협동 다중에이전트 강화학습에서 에이전트 간 상호작용을 효과적으로 모델링하여 협동적 탐색을 향상시킬 수 있는가?
• RQ2 서로의 가치 함수 정보를 통합함으로써 가치 함수 추정과 정책 조율이 얼마나 향상되는가?
• RQ3 공유 주의 메커니즘이 다중에이전트 환경에서 동료 의존성을 포착하여 가치 함수 추정을 향상시킬 수 있는가?
• RQ4 기존 기준 대비 IAC 알고리즘이 희박한 보상과 부분 관찰 조건에서 어떻게 성능을 발휘하는가?
• RQ5 협업 탐색과 주의 기반 가치 추정의 통합이 대규모 다중에이전트 과제에서의 확장성 향상에 기여하는가?

주요 결과

• IAC는 사냥개-사냥개 과제에서 SIAQ와 DDPG-MIX를 능가하여, 사냥개를 붙잡는 데 각각 0.295백만 단계와 0.06백만 단계를 절약한다.
• 다중 펜듈럼 과제에서 IAC는 에이전트 수가 증가함에 따라 안정적인 성능을 유지하는 반면, SIAQ는 소수의 에이전트를 초과해 확장되지 못한다.
• IAC는 에이전트가 0.8 이내의 국소 정보만 관찰할 수 있는 부분 관찰 환경(PO-Predator-prey)에서도 뛰어난 성능을 보이며, 부분 관찰 조건에서의 내구성을 입증한다.
• 협업 탐색 모듈은 더 높은 에피소드 수익과 빠른 수렴 속도를 통해 결정론적 정책보다 더 나은 협업을 이끌어낸다.
• 공유 주의 메커니즘은 가치 함수 추정을 크게 향상시켜, 더 나은 공동 행동 선택과 정책 조율을 가능하게 한다.
• IAC는 대칭 과제(예: 다중 펜듈럼)에서 에이전트 정책 간 양의 상관관계를 유지하여 효과적인 협업을 보여준다.