[논문 리뷰] PIC: Permutation Invariant Critic for Multi-Agent Deep Reinforcement Learning

Iou-Jen Liu, Raymond A. Yeh외 1명|arXiv (Cornell University)|2019. 10. 31.

Reinforcement Learning in Robotics인용 수 29

한 줄 요약

이 논문은 다중 에이전트 강화학습을 위한 순열 불변 비평자(Permutation Invariant Critic, PIC)를 제안하며, 그래프 신경망을 사용하여 에이전트 순서에 관계없이 일관된 가치 추정을 보장한다. PIC는 샘플 효율성과 확장성을 향상시켜 기존 MPE 환경의 30배에 달하는 최대 200명의 에이전트를 성공적으로 학습시킬 수 있으며, 기준 방법 대비 테스트 에피소드 보상에서 15%에서 50% 높은 성능을 달성한다.

ABSTRACT

Sample efficiency and scalability to a large number of agents are two important goals for multi-agent reinforcement learning systems. Recent works got us closer to those goals, addressing non-stationarity of the environment from a single agent's perspective by utilizing a deep net critic which depends on all observations and actions. The critic input concatenates agent observations and actions in a user-specified order. However, since deep nets aren't permutation invariant, a permuted input changes the critic output despite the environment remaining identical. To avoid this inefficiency, we propose a 'permutation invariant critic' (PIC), which yields identical output irrespective of the agent permutation. This consistent representation enables our model to scale to 30 times more agents and to achieve improvements of test episode reward between 15% to 50% on the challenging multi-agent particle environment (MPE).

연구 동기 및 목표

• 비순열 불변 비평자로 인해 발생하는 다중 에이전트 딥 강화학습의 샘플 비효율성과 확장성 한계를 해결한다.
• 에이전트 순서에 따라 동일한 환경 상태에서 다른 출력을 내는 다층퍼셉트론(MLP) 비평자로 인한 학습 효율 저하 문제를 해결한다.
• 기존 비평자가 수렴하지 못하는 대규모 에이전트 수(최대 200명)의 환경에서도 효과적인 학습을 가능하게 한다.
• 에이전트 고유의 특성 정보를 통합하여 동일한 및 이질적인 에이전트 모두를 지원한다.
• 다중 에이전트 입자 환경(MPE)의 30배 빠른 속도 향상으로 인해 학습 효율성을 향상시키고 대규모 평가를 철저히 수행할 수 있도록 한다.

제안 방법

• 에이전트 관측값과 행동을 집합으로 처리하는 그래프 신경망 기반 순열 불변 비평자(PIC)를 제안하여, 에이전트 순서의 모든 순열에 대해 동일한 출력을 보장한다.
• 메시지 전달 레이어를 학습 가능한 방식으로 사용한 그래프 네트워크 아키텍처를 도입하여 에이전트 간 정보를 집계하고, 대칭적 집계를 통해 순열 불변성을 강제한다.
• 다른 관측 공간, 행동 공간 또는 역할을 가진 이질적 에이전트를 모델링하기 위해 그래프에 에이전트 특성 정보를 추가한다.
• 모든 에이전트의 상태와 행동을 관측하는 중심화된 가치 함수를 사용하여 MADDPG 스타일의 프레임워크에서 비평자를 학습시킨다.
• 최적화된 데이터 로딩 및 병렬 처리를 구현한 수정된 MPE 환경을 구현하여 원래 버전 대비 30배 빠른 속도 향상을 달성한다.
• 완전 연결 및 K-최근접 이웃 그래프와 같은 그래프 구조를 사용하며, 분석 결과 완전 연결 그래프가 더 뛰어난 성능을 보였다.

실험 결과

연구 질문

• RQ1 순열 불변 비평자는 다중 에이전트 딥 강화학습에서 샘플 효율성과 확장성 향상에 기여하는가?
• RQ2 비평자에서 순열 불변성을 강제하면 다양한 에이전트 순서에 대해 일관된 가치 추정이 이루어지는가?
• RQ3 제안된 PIC는 이전에 가능하지 않았던 대규모 에이전트 수(예: 200명)의 환경까지 확장 가능한가?
• RQ4 최종 성능와 학습 안정성 측면에서 기준 MLP 비평자 및 데이터 증강 기반 MLP 비평자와 비교해 볼 때 PIC는 어떤가?
• RQ5 에이전트 특성의 포함 여부가 협동적 다중 에이전트 과제에서 이질적 에이전트를 효과적으로 모델링하는 데 기여하는가?

주요 결과

• PIC는 여러 MPE 과제에서 기준 MLP 비평자 대비 평균 테스트 에피소드 보상에서 15%에서 50% 높은 성능을 기록했으며, t-검정을 통한 통계적 유의성(p < 0.05)이 확인되었다.
• 에이전트 수가 증가할수록 비평자 손실 비율(MLP / PIC)이 증가하여, 고차원 설정에서 PIC가 훨씬 정확한 가치 추정을 제공한다는 것을 시사한다.
• PIC를 사용한 학습은 최대 200명의 에이전트가 포함된 환경에서도 성공적인 학습을 가능하게 했으며, 기준 MADDPG는 대규모 환경에서 유용한 정책을 개발하지 못했다.
• MPE 환경의 30배 빠른 속도 향상 덕분에 30명의 에이전트 학습을 5시간 이내로 완료할 수 있었고, 원래 설정에서는 100시간 이상 소요되었다.
• 데이터 증강은 MLP 비평자 성능 향상에 크게 기여하지 않으며, 때로는 성능을 떨어뜨리기도 하여 히ュ리스틱한 순서 처리 완화 전략의 한계를 드러낸다.
• 모든 평가 과제에서 완전 연결 그래프가 K-최근접 이웃 그래프보다 뛰어난 성능을 보였으며, 협동 설정에서 가치 추정에 있어 전역 연결성이 유리함을 시사한다.