[논문 리뷰] Multi-Agent MDP Homomorphic Networks

Elise van der Pol, Herke van Hoof외 2명|arXiv (Cornell University)|2021. 10. 09.

Reinforcement Learning in Robotics참고 문헌 36인용 수 4

한 줄 요약

이 논문은 협동 다중에이전트 시스템에서 회전 및 순열 대칭성과 같은 전역 대칭성을 국소 변환으로 분해함으로써 전역 대칭성을 강제하는 분산 딥 강화학습 프레임워크인 Multi-Agent MDP Homomorphic Networks를 제안한다. 이 방법은 대칭 상태-행동 구성 간에 가중치를 공유함으로써 데이터 효율적인 정책 학습을 가능하게 하면서도 완전히 분산된 실행을 유지하며, 사냥감-사냥개 및 신호등 제어 작업에서 비등변 기반보다 뛰어난 성능을 발휘한다.

ABSTRACT

This paper introduces Multi-Agent MDP Homomorphic Networks, a class of networks that allows distributed execution using only local information, yet is able to share experience between global symmetries in the joint state-action space of cooperative multi-agent systems. In cooperative multi-agent systems, complex symmetries arise between different configurations of the agents and their local observations. For example, consider a group of agents navigating: rotating the state globally results in a permutation of the optimal joint policy. Existing work on symmetries in single agent reinforcement learning can only be generalized to the fully centralized setting, because such approaches rely on the global symmetry in the full state-action spaces, and these can result in correspondences across agents. To encode such symmetries while still allowing distributed execution we propose a factorization that decomposes global symmetries into local transformations. Our proposed factorization allows for distributing the computation that enforces global symmetries over local agents and local interactions. We introduce a multi-agent equivariant policy network based on this factorization. We show empirically on symmetric multi-agent problems that globally symmetric distributable policies improve data efficiency compared to non-equivariant baselines.

연구 동기 및 목표

• 협동 다중에이전트 강화학습에서 전역 대칭성을 강제하면서도 분산 실행을 유지하는 문제에 대응하기 위해.
• 중앙집중식 계산을 요구하지 않고도 공동 상태-행동 공간의 대칭성을 활용하여 데이터 효율적인 학습을 가능하게 하기 위해.
• 단일에이전트 등변 학습 기법을 회전과 같은 복잡한 비치환 대칭성을 포함한 다중에이전트 시스템으로 확장하기 위해.
• 각 에이전트가 독립적으로 계산하고 강제할 수 있는 국소 변환으로 전역 대칭성을 분해하기 위한 방법을 개발하기 위해.
• 전역 등변성의 강제가 대칭적인 다중에이전트 환경에서 샘플 효율성을 향상시킨다는 것을 입증하기 위해.

제안 방법

• 공동 상태-행동 공간 내 전역 대칭성을 개별 에이전트의 관측과 행동에 작용하는 국소 변환으로 분해하는 방법을 제안한다.
• 에이전트 간 대칭성 불변 특징을 인코딩하기 위해 정규 군 표현(군 채널)을 사용하는 다중에이전트 등변 정책 네트워크를 설계한다.
• 군 컨볼루션 유사 연산을 사용하여 대칭성 유지 가중치 공유를 통해 등변성을 강제한다.
• 중앙집중적 조율을 피하기 위해 국소 통신과 국소 계산을 통해 전역 대칭 제약 조건을 강제한다.
• 지역 정보를 집계하면서도 전역 대칭군 하에서 등변성을 유지하기 위해 메시지 전달 또는 그래프 기반 아키텍처를 사용한다.
• 이론적으로 대칭군이 알려진 이산 행동, 협동 다중에이전트 환경(예: 회전에 대한 딜레어 군)에 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 협동 다중에이전트 시스템에서 전역 대칭성을 활용하여 데이터 효율적인 학습을 수행하면서도 분산 실행을 유지할 수 있는가?
• RQ2 간단한 치환을 초월한 전역 대칭성은 어떻게 국소적, 에이전트 수준의 변환으로 분해되어 분산 정책 학습에 활용될 수 있는가?
• RQ3 전역 등변성을 강제하면 비등변 기반 대비 대칭적인 다중에이전트 환경에서 샘플 효율성이 향상되는가?
• RQ4 제안된 방법은 비트리비알 대칭성을 포함한 복잡한 조율 문제, 예를 들어 신호등 제어에 일반화될 수 있는가?
• RQ5 분산 환경에서 대칭성 강제는 수렴 속도와 최종 정책 성능에 어떤 영향을 미치는가?

주요 결과

• 사냥감-사냥개 변형에서 제안된 방법은 비등변 기반보다 훨씬 적은 환경 상호작용 수로 효과적인 공동 정책를 달성했다.
• 이 방법은 대칭적인 다중에이전트 조율 작업에서 데이터 효율성이 향상되어 비등변 대비 더 빠르게 효과적인 정책을 학습했다.
• 신호등 제어 작업에서 전역 대칭성 강제는 표준 MPN 및 데이터 증강 기반 대비 더 빠른 수렴과 더 낮은 평균 차량 대기 시간을 보였다.
• 등변 정책 네트워크는 더 적은 환경 상호작용 수로 더 높은 성능을 달성하여 샘플 효율성이 향상됨을 나타냈다.
• 고차원 상태 공간을 가진 복잡한 조율 문제에서도 전역 대칭성 강제가 학습 동역학과 최종 정책 품질을 향상시켰다.
• 이상적인 환경과 실제 세계를 모델링한 대칭 환경 양쪽에서 비등변 분산 네트워크보다 성능이 뛰어났다.