[논문 리뷰] A Game-Theoretic Approach to Multi-Agent Trust Region Optimization

Ying Wen, Hui Chen외 5명|arXiv (Cornell University)|2021. 06. 12.

Reinforcement Learning in Robotics참고 문헌 70인용 수 4

한 줄 요약

이 논문은 비정상적인 다중 에이전트 환경에서 정책 최적화를 안정화하기 위해 메타게임 분석을 통합한 게임이론적 다중 에이전트 신뢰영역 학습 방법인 MATRL을 제안한다. 현재 정책과 예측 정책을 기반으로 한 경험적 정책공간 메타게임에서 나슈 균형 해법을 활용함으로써, MATRL은 단조로운 성능 향상과 국소 수렴을 보장하며, MuJoCo 및 아케이드 게임을 포함한 이산 및 연속 제어 과제에서 강력한 기준선을 능가한다.

ABSTRACT

Trust region methods are widely applied in single-agent reinforcement learning problems due to their monotonic performance-improvement guarantee at every iteration. Nonetheless, when applied in multi-agent settings, the guarantee of trust region methods no longer holds because an agent's payoff is also affected by other agents' adaptive behaviors. To tackle this problem, we conduct a game-theoretical analysis in the policy space, and propose a multi-agent trust region learning method (MATRL), which enables trust region optimization for multi-agent learning. Specifically, MATRL finds a stable improvement direction that is guided by the solution concept of Nash equilibrium at the meta-game level. We derive the monotonic improvement guarantee in multi-agent settings and empirically show the local convergence of MATRL to stable fixed points in the two-player rotational differential game. To test our method, we evaluate MATRL in both discrete and continuous multiplayer general-sum games including checker and switch grid worlds, multi-agent MuJoCo, and Atari games. Results suggest that MATRL significantly outperforms strong multi-agent reinforcement learning baselines.

연구 동기 및 목표

• 다른 에이전트의 적응적 행동으로 인해 비정상적인 환경이 발생함에 따라 신뢰영역 최적화의 단조로운 성능 향상이 붕괴되는 문제를 해결하기 위해.
• 중앙 집중식 크리틱이나 통신을 요구하지 않으면서도 다중 에이전트 강화학습에서 성능 보장을 유지하는 신뢰영역 방법을 개발하기 위해.
• 정책 공간에서 나슈 균형 개념을 활용한 메타게임 분석을 통해 안정된 고정점으로의 수렴을 가능하게 하기 위해.
• 일반합 다중 에이전트 환경에서 학습 안정성과 샘플 효율성을 향상시키면서도 독립 학습자의 단순성을 유지하기 위해.
• 기존의 PPO와 같은 신뢰영역 알고리즘에 추가적인 훈련이나 아키텍처 변경 없이 최소한의 오버헤드로 확장 가능한 방법을 제공하기 위해.

제안 방법

• 독립 학습자(ILs)의 현재 정책과 예측 정책을 기반으로 공동 보상 역동성을 모델링하기 위해 경험적 정책공간 메타게임을 구성한다.
• 메타게임에서 안정적인 정책 업데이트를 확보하기 위해 나슈 균형 솔버(예: CMAES)를 사용하여 기저 게임에서의 약한 안정성을 확보한다.
• 메타게임 나슈 균형을 통해 현재 정책와 예측 정책을 집계하여 제한된 신뢰영역 단계를 정의한다.
• 집계된 정책 기반의 최적 반응 업데이트를 적용하여 안정된 방향을 탐색함으로써 정책 이동에 대한 강건성을 향상시킨다.
• 기본 정책 및 가치 네트워크를 수정하지 않고도 표준 신뢰영역 알고리즘(예: PPO)에 메타게임 분석을 통합한다.
• 기존 PPO 손실에 KL 및 엔트로피 정규화를 추가로 적용하면서도, 정책 업데이트를 정교화하기 위해 최적 반응 학습 단계를 도입한다.

실험 결과

연구 질문

• RQ1 비정상적인 환경에도 불구하고 다중 에이전트 설정에서 신뢰영역 최적화가 단조로운 성능 향상을 유지할 수 있는가?
• RQ2 정책 공간에 메타게임 나슈 균형을 통합하면 다중 에이전트 강화학습에서 안정적이고 수렴 가능한 학습이 이루어지는가?
• RQ3 독립 학습자에 대한 최소한의 오버헤드 확장이 중심화되거나 통신 기반 방법과 비교해 유사한 성능을 달성할 수 있는가?
• RQ4 이 논문에서 제안한 방법은 이산 및 연속 제어 환경에서 VDN, QMIX, MADDPG, COMIX와 같은 강력한 기준선과 비교해 어떻게 성능을 냅니다?
• RQ5 메타게임 나슈 균형은 기저 다중 에이전트 게임의 약한 안정 고정점인가?

주요 결과

• 2명의 플레이어가 있는 스위치 및 검정이글자 게임을 포함한 이산 격자 환경에서, MATRL은 독립 PPO, VDN, QMIX, QDPP보다 뚜렷한 성능 향상을 달성한다.
• 다중 에이전트 MuJoCo의 연속 제어 과제에서, MATRL은 분산형 PPO, MADDPG, COMIX를 능가하며 뛰어난 샘플 효율성과 안정성을 보여준다.
• 제로섬 아케이드 게임에서, MATRL은 기준선 PPO와 중심화된 방법인 COMIX를 뛰어넘어 더 높은 최종 수익을 달성하며 일관된 학습 곡선을 보인다.
• 메타게임 분석에 기반한 이론적 보장에 따라, MATRL은 훈련 반복 동안 기대 수익에서 단조로운 향상을 보장한다.
• 차분 게임 역학에서 국소 수렴이 관찰되어 약한 안정성 이론 분석을 지지하는 안정된 고정점으로 수렴하는 것이 실험적으로 확인되었다.
• 메타게임에서 나슈 균형을 해결하기 위해 CMAES를 사용함으로써, 중심화된 인프라 없이도 효과적이고 확장 가능한 신뢰영역 업데이트가 가능해졌다.