[논문 리뷰] POGEMA: Partially Observable Grid Environment for Multiple Agents

Alexey Skrynnik, Anton Andreychuk외 2명|arXiv (Cornell University)|2022. 06. 22.

Natural Language Processing Techniques인용 수 5

한 줄 요약

POGEMA는 부분 관측 다중 에이전트 경로 계획 문제(PO-MAPF)를 벤치마킹하기 위한 빠르고 확장 가능하며 사용자 정의가 가능한 격자 기반 환경이다. 이 환경은 계획 및 강화 학습 방법의 효율적 테스트를 가능하게 하며, 중심화된 정책과 분산 정책을 모두 지원한다. 결과적으로 복잡하고 고밀도 환경에서 하이브리드 계획-학습 접근 방식이 순수 기준선보다 뛰어난 성능을 보였다.

ABSTRACT

We introduce POGEMA (https://github.com/AIRI-Institute/pogema) a sandbox for challenging partially observable multi-agent pathfinding (PO-MAPF) problems . This is a grid-based environment that was specifically designed to be a flexible, tunable and scalable benchmark. It can be tailored to a variety of PO-MAPF, which can serve as an excellent testing ground for planning and learning methods, and their combination, which will allow us to move towards filling the gap between AI planning and learning.

연구 동기 및 목표

• 부분 관측 다중 에이전트 경로 계획(PO-MAPF)을 위한 민첩한 벤치마킹을 제공함으로써 인공지능 계획 및 강화 학습 간 격차를 해소한다.
• 분산형, 부분 관측 환경에서 하이브리드 계획 및 학습 방법의 빠른 프로토타이핑과 평가를 가능하게 한다.
• 사용자 정의 가능한 지도 설정을 갖춘 격자 기반, 에고세트릭 관측 구조를 통해 강화 학습 에이전트의 확장성 있고 고속의 훈련을 지원한다.
• 표준화된 오픈소스 플랫폼을 제공하며, 인기 있는 강화 학습 프레임워크와의 인터페이스 및 내장 기준선을 통해 다중 에이전트 의사결정 연구를 가속화한다.
• 다양한 에이전트 밀도와 관측 반경을 갖춘 정기적으로 생성된 지도를 사용함으로써 일반화 및 전이 학습을 촉진한다.

제안 방법

• POGEMA는 자유 및 차단 셀이 있는 4연결 격자 세계를 사용하며, 에이전트는 사용자가 정의한 에고세트릭 관측 패치(예: 11×11 시야)를 통해 부분 관측 상태에서 작동한다.
• 각 에이전트는 사용자가 정의한 정책에 따라 자신의 국소 관측 기반으로 행동을 선택하며, 이동, 인접 셀로의 이동 또는 대기 행동이 가능하고, 충돌이 발생하지 않는 경우에만 행동이 적용된다.
• 환경는 A*-기반 재계획 기반의 기준선과, SampleFactory 및 PyMARL과 같은 강화 학습 프레임워크 통합을 통해 학습 가능한 정책을 모두 지원한다.
• 심층 신경망 기반의 가치 함수 및 정책 근사기의 훈련을 위한 고표본 효율성(최대 83,000 FPS)을 제공하며, 다중 에이전트 환경에서도 빠른 훈련이 가능하다.
• 사용자 정의 가능한 지도는 문자열 또는 YAML 형식으로 정의되며, 격자 크기, 장애물 밀도, 에이전트 수, 관측 반경, 에피소드 길이 등의 설정 가능한 매개변수가 포함된다.
• 에이전트 밀도에 기반한 네 가지 난이도 수준(easy에서 extra-hard까지)을 제공하며, 모든 수준에서 일관된 관측 반경(R=5)을 유지한다.

실험 결과

연구 질문

• RQ1 에이전트 밀도와 관측 제약 조건이 다양할 때 히우리스틱 검색 기반 계획기의 PO-MAPF 문제 해결 능력은 어떠한가?
• RQ2 APPO 및 QMIX와 같은 심층 강화 학습 방법은 고밀도, 부분 관측 환경에서 복잡한 PO-MAPF 작업을 얼마나 잘 해결할 수 있는가?
• RQ3 협동 행동이 요구되는 PO-MAPF 시나리오에서 중심화된 대비 분산형 MARL 알고리즘의 성능는 어떻게 비교되는가?
• RQ4 POGEMA의 정기적 생성된 지도는 다중 에이전트 경로 계획 정책의 일반화 및 전이 학습을 지원할 수 있는가?
• RQ5 지도 크기와 에이전트 밀도를 증가시킬 경우, 계획 및 학습 기반 PO-MAPF 솔루션의 확장성과 성능에 어떤 영향을 미치는가?

주요 결과

• A*-기반 재계획과 일시적인 개선(예: 목표 향한 이동 및 진동 시 대기 행동)을 포함한 계획 기반 기준선은 특히 저밀도 설정에서 일부 PO-MAPF 인스턴스를 성공적으로 해결하였다.
• 8×8 extra-hard 구성에서 중심화된 MARL 알고리즘(QMIX 및 VDN)은 분산형 IQL보다 뛰어난 성능을 보였으며, 고밀도 환경에서의 협동 행동 필요성을 시사하였다.
• 1개의 GPU에서 32×32 extra-hard 지도에 128명의 에이전트가 포함된 환경에서 APPO 훈련이 몇 시간 내에 수렴함을 확인하여 고확장성 및 고효율성을 입증하였다.
• 에이전트 밀도와 지도 크기가 증가할수록 성능 저하가 심각하게 발생하며, 이는 복잡한 시나리오에서 경로 계획 및 충돌 해결의 중요성을 강조한다.
• 단일 에이전트 모드에서 최대 83,000 FPS를 지원하며, 다중 에이전트 환경에서도 높은 효율성을 유지하여 강화 학습 및 계획 연구의 신속한 반복을 가능하게 한다.
• POGEMA의 정기적 생성 및 사용자 정의 가능한 설정은 강력한 일반화를 보장하며, 다중 에이전트 시스템에서 전이 학습 및 제로샷 일반화 평가에 적합하다.