Skip to main content
누빈트
QUICK REVIEW

[논문 리뷰] Adaptive Value Decomposition with Greedy Marginal Contribution Computation for Cooperative Multi-Agent Reinforcement Learning

Shanqi Liu, Yujing Hu|arXiv (Cornell University)|2023. 02. 14.
Reinforcement Learning in Robotics인용 수 4
한 줄 요약

이 논문은 비단조화적 협동 작업을 해결하기 위해 적응형 가치 분해와 탐욕적 마진 기여 계산을 사용하는 새로운 명시적 책임 할당 방법인 AVGM을 제안한다. 복잡한 환경에서 해석 가능하고 확장 가능하며 높은 성능을 발휘하는 협동을 가능하게 하여, 액션 인코더를 통해 선형 시간 복잡도를 유지하면서도 기존의 가치 기반 방법보다 뚜렷한 성능 향상을 달성한다.

ABSTRACT

Real-world cooperation often requires intensive coordination among agents simultaneously. This task has been extensively studied within the framework of cooperative multi-agent reinforcement learning (MARL), and value decomposition methods are among those cutting-edge solutions. However, traditional methods that learn the value function as a monotonic mixing of per-agent utilities cannot solve the tasks with non-monotonic returns. This hinders their application in generic scenarios. Recent methods tackle this problem from the perspective of implicit credit assignment by learning value functions with complete expressiveness or using additional structures to improve cooperation. However, they are either difficult to learn due to large joint action spaces or insufficient to capture the complicated interactions among agents which are essential to solving tasks with non-monotonic returns. To address these problems, we propose a novel explicit credit assignment method to address the non-monotonic problem. Our method, Adaptive Value decomposition with Greedy Marginal contribution (AVGM), is based on an adaptive value decomposition that learns the cooperative value of a group of dynamically changing agents. We first illustrate that the proposed value decomposition can consider the complicated interactions among agents and is feasible to learn in large-scale scenarios. Then, our method uses a greedy marginal contribution computed from the value decomposition as an individual credit to incentivize agents to learn the optimal cooperative policy. We further extend the module with an action encoder to guarantee the linear time complexity for computing the greedy marginal contribution. Experimental results demonstrate that our method achieves significant performance improvements in several non-monotonic domains.

연구 동기 및 목표

  • 기존의 단조로운 가치 함수가 실패하는 비단조화적 협동 작업을 다루는 데에 가치 분해 방법의 한계를 해결하기 위해.
  • 탐욕적 마진 기여 기반의 명시적이고 해석 가능한 메커니즘을 도입하여 협동 MARL에서의 책임 할당을 향상시키기 위해.
  • 액션 인코더를 통해 선형 시간 복잡도 계산 모듈을 설계하여 대규모 에이전트 환경에서도 확장 가능성을 확보하기 위해.
  • 특히 안전이 중요한 응용 분야에서의 실생활 배포를 위해 정책의 해석 가능성과 합리성을 유지하기 위해.
  • 에이전트 수와 비단조화적 보상 구조의 변화에 걸쳐 일반화 및 강건성을 입증하기 위해.

제안 방법

  • 잠재 동작에 대한 분포로 개별 유틸리티를 모델링하는 적응형 가치 분해를 제안하여 관측 가능한 에이전트의 행동을 동적으로 통합한다.
  • 분해된 가치 함수로부터 탐욕적 마진 기여 계산을 도입하여 각 에이전트의 연합 결과에 대한 기여도에 따라 명시적인 책임을 할당한다.
  • 공동 행동 표현을 압축하기 위해 액션 인코더를 활용하여 마진 기여 계산의 선형 시간 복잡도를 보장한다.
  • 중앙집중적 훈련과 분산 실행(CTDE)을 적용하여 각 에이전트가 자신의 관측치와 탐욕적 마진 기여를 기반으로 정책을 학습하도록 한다.
  • 분해된 가치 함수를 사용한 분산 실행을 가능하게 하기 위해 개별 전역 최대값(IGM) 원칙을 적용한다.
  • 완전한 공동 행동 공간의 나열이 불가능한 복잡한 비단조화적 상호작용을 모델링하기 위해 잠재 동작 공간을 활용한다.
Figure 1. Left: The illustration of Eq. ( 1 ). The orange area is the payoff matrixes that can be solved by methods using $Q_{i}(\tau_{i},a_{i})$ as policy. Right: Payoff matrix of the bimanual lifting example.
Figure 1. Left: The illustration of Eq. ( 1 ). The orange area is the payoff matrixes that can be solved by methods using $Q_{i}(\tau_{i},a_{i})$ as policy. Right: Payoff matrix of the bimanual lifting example.

실험 결과

연구 질문

  • RQ1탐욕적 마진 기여를 통한 명시적 책임 할당이 비단조화적 수익을 가진 협동 MARL 작업에서 학습을 향상시키는가?
  • RQ2비단조화적 환경에서 AVGM은 암묵적 책임 할당 방법보다 어떻게 성능을 발휘하는가?
  • RQ3AVGM의 액션 인코더는 대규모 시나리오에서 성능을 유지하면서도 선형 시간 복잡도를 유지하는가?
  • RQ4AVGM은 다양한 에이전트 수를 가진 환경으로의 제로샷 전이가 가능한가?
  • RQ5AVGM은 협동 작업에서 에이전트 행동의 해석 가능성과 합리성을 어느 정도 향상시키는가?

주요 결과

  • AVGM은 리프트와 퍼스위트와 같은 비단조화적 환경에서 기존 기준선 방법(QMIX, VDN 포함)보다 뚜렷한 성능 향상을 달성한다.
  • 에이전트 수가 다양할 때에도 안정적이고 일관된 학습을 유지하여, 최대 12명의 에이전트를 포함한 대규모 설정에서도 강건성과 확장 가능성을 입증한다.
  • 제거 실험 결과, 탐욕적 마진 기여를 제거하거나 실제 마진 기여를 사용할 경우 비단조화적 작업에서 성능이 심각하게 저하됨을 확인하여, 이 기여의 핵심적 역할을 입증한다.
  • 액션 인코더 덕분에 선형 시간 복잡도를 확보하여, 전체 공동 행동 공간 나열이 비현실적인 대규모 시나리오에서도 AVGM의 실행 가능성을 보장한다.
  • 일관된 환경 상태 인식과 합리적인 에이전트 행동을 통해 강력한 해석 가능성을 유지한다.
  • 에이전트 수가 3~5로 변할 때의 제로샷 전이에서도 성능 저하가 최소한이어서 강력한 일반화 능력을 보여준다.
Figure 2. The architecture of our method. Left (Blue): The architecture for total Q-values. Middle (Green): The framework of the non-monotonic critic $Q_{c}^{i}(\tau_{i},u_{i}^{-},a_{i})$ . Upper Right (Red): The framework of greedy marginal contribution and $Q_{p}^{i}(\tau_{i},a_{i})$ . Lower Right
Figure 2. The architecture of our method. Left (Blue): The architecture for total Q-values. Middle (Green): The framework of the non-monotonic critic $Q_{c}^{i}(\tau_{i},u_{i}^{-},a_{i})$ . Upper Right (Red): The framework of greedy marginal contribution and $Q_{p}^{i}(\tau_{i},a_{i})$ . Lower Right

더 나은 연구,지금 바로 시작하세요

논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.

카드 등록 없음 · 무료 플랜 제공

이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.