[논문 리뷰] MAC-PO: Multi-Agent Experience Replay via Collective Priority Optimization

Yongsheng Mei, Hanhan Zhou외 3명|arXiv (Cornell University)|2023. 02. 21.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

이 논문은 공동 정책에 대한 회귀 최소화를 통해 샘플링 가중치를 최적화하는 새로운 다중 에이전트 경험 재생 방법인 MAC-PO를 제안한다. 라그랑주 승수와 카루시-쿤-터커(KKT) 조건을 사용하여 닫힌 형태의 가중치를 유도하며, Predator-Prey 및 StarCraft SMAC와 같은 협동 다중에이전트강화학습(MARL) 환경에서 학습 효율성과 성능을 크게 향상시킨다. 기존 최고 수준의 기준선 대비 수렴 속도와 승리 비율에서 뛰어난 성능을 보인다.

ABSTRACT

Experience replay is crucial for off-policy reinforcement learning (RL) methods. By remembering and reusing the experiences from past different policies, experience replay significantly improves the training efficiency and stability of RL algorithms. Many decision-making problems in practice naturally involve multiple agents and require multi-agent reinforcement learning (MARL) under centralized training decentralized execution paradigm. Nevertheless, existing MARL algorithms often adopt standard experience replay where the transitions are uniformly sampled regardless of their importance. Finding prioritized sampling weights that are optimized for MARL experience replay has yet to be explored. To this end, we propose MAC-PO, which formulates optimal prioritized experience replay for multi-agent problems as a regret minimization over the sampling weights of transitions. Such optimization is relaxed and solved using the Lagrangian multiplier approach to obtain the close-form optimal sampling weights. By minimizing the resulting policy regret, we can narrow the gap between the current policy and a nominal optimal policy, thus acquiring an improved prioritization scheme for multi-agent tasks. Our experimental results on Predator-Prey and StarCraft Multi-Agent Challenge environments demonstrate the effectiveness of our method, having a better ability to replay important transitions and outperforming other state-of-the-art baselines.

연구 동기 및 목표

• 협동 다중에이전트강화학습(MARL)에서 경험 재생의 우선순위가 부족한 문제를 해결하기 위해, 표준 균일 샘플링이 복잡한 에이전트 상호작용을 반영하지 못하는 데 기인한다.
• 샘플링 가중치에 대한 최적 경험 재생을 회귀 최소화 문제로 공식화하여, 현재 정책와 최적 정책 간의 격차를 최소화한다.
• 라그랑주 승수와 카루시-쿤-터커(KKT) 조건을 사용하여 연립 KKT 조건을 풀어, 다중 에이전트의 동시 최적성 제약 조건을 고려한 닫힌 형태의 샘플링 가중치를 도출한다.
• 어려운 MARL 벤치마크에서 방법을 평가하여, 기존 기준선 대비 더 높은 샘플 효율성과 정책 성능을 입증한다.
• 핵심 구성 요소인 벨먼 오차, 가치 향상, 공동 행동 확률이 최적 가중치 설계에 기여하는 기여도를 검증한다.

제안 방법

• MARL 경험 재생을 정책 회귀를 최소화하는 문제로 공식화하며, 샘플링 가중치 하에서 현재 정책의 기대 수익과 명목 최적 정책의 기대 수익 간의 차이로 정책 회귀를 정의한다.
• 회귀의 상한을 사용하여 최적화 문제를 완화하고, 라그랑주 승수 방법을 적용하여 필요 최적성 조건을 유도한다.
• 다중 에이전트 간의 동시 최적성 제약 조건을 고려한 KKT 조건의 연립 방정식을 풀어 닫힌 형태의 샘플링 가중치를 유도한다.
• 벨먼 오차, 가치 향상, 공동 행동 확률의 세 가지 핵심 구성 요소를 가중치 설계에 통합하여 다중에이전트 역학과 가치 추정 정확도를 반영한다.
• 가중치가 부여된 벨먼 방정식과 은닉 함수 정리를 사용하여 에이전트 정책과 최적 샘플링 가중치 간의 종속성을 모델링한다.
• 대규모 MARL 환경에서의 실용적 구현을 위해 정확한 버전과 근사 버전을 모두 제안한다.

실험 결과

연구 질문

• RQ1 샘플링 가중치에 대한 회귀 최소화가 협동 다중에이전트강화학습에서 경험 재생 향상에 기여할 수 있는가?
• RQ2 공동 정책과 다중에이전트 상호작용을 고려하여 닫힌 형태의 최적 샘플링 가중치를 어떻게 도출할 수 있는가?
• RQ3 벨먼 오차, 가치 향상, 공동 행동 확률이 우선순위 경험 재생 방식의 성능에 기여하는 상대적 기여도는 무엇인가?
• RQ4 제안된 방법이 표준 경험 재생 및 최고 수준의 MARL 알고리즘보다 더 빠른 수렴과 높은 성능을 달성하는가?
• RQ5 SMAC의 슈퍼 하드 지도와 같은 복잡하고 고도로 협력이 요구되는 환경에서 이 방법은 어떻게 스케일링되는가?

주요 결과

• MAC-PO는 동시 에이전트 행동이 필요한 고도의 협력 설정에서 특히 빠른 수렴을 달성하며, Predator-Prey 환경에서 모든 기준선 대비 수렴 속도가 빠르다.
• SMAC 벤치마크에서 MAC-PO는 슈퍼 하드 MMM2 지도에서 가장 높은 승리 비율을 기록했으며, QMIX, WQMIX, QPLEX를 모두 앞서나갔다.
• 제거 실험 결과, 공동 행동 확률 항을 비활성화할 경우 성능 저하가 가장 심각했으며, 승리 비율이 18% 감소했다. 이는 다중에이전트 협력에서 이 항목의 핵심적 역할을 확인한다.
• 벨먼 오차와 가치 향상 항 각각을 비활성화했을 때 성능 저하가 각각 15%와 10% 발생했으며, 이는 가치 추정 및 정책 향상에서의 중요성을 시사한다.
• MAC-PO의 최적 가중치 설계 덕분에, 특히 다중에이전트 협력 행동을 포함한 고영향 전이를 더 효과적으로 재생함으로써 샘플 효율성이 뛰어나졌다.
• 표준 경험 재생 및 기존 MARL 기준선이 최적 정책을 학습하기 어려운 복잡한 환경에서도 이 방법은 뛰어난 강건성을 보였다.