[논문 리뷰] Neural Graph Control Barrier Functions Guided Distributed Collision-avoidance Multi-agent Control

Songyuan Zhang, Kunal Garg외 1명|arXiv (Cornell University)|2023. 11. 21.

Bayesian Modeling and Causal Inference인용 수 4

한 줄 요약

이 논문은 그래프 신경망(GNN)을 사용해 충돌 회피 제약 조건을 인코딩하고 에이전트와 장애물을 구분하는 학습 기반의 분산 다중 에이전트 제어 프레임워크인 그래프 제어 장벽 함수(GCBF)를 소개한다. 단지 16개의 에이전트로 훈련된 GCBF는 대규모 시나리오(1000개 이상의 에이전트)에서 MAPPO와 MDCBF보다 최대 3배 높은 성공률를 기록하며, 기준선이 실패할 때도 50% 이상의 성공률를 유지하고, LiDAR 기반의 새로운 장애물과 복잡한 동역학으로의 일반화도 효과적으로 수행한다.

ABSTRACT

We consider the problem of designing distributed collision-avoidance multi-agent control in large-scale environments with potentially moving obstacles, where a large number of agents are required to maintain safety using only local information and reach their goals. This paper addresses the problem of collision avoidance, scalability, and generalizability by introducing graph control barrier functions (GCBFs) for distributed control. The newly introduced GCBF is based on the well-established CBF theory for safety guarantees but utilizes a graph structure for scalable and generalizable decentralized control. We use graph neural networks to learn both neural a GCBF certificate and distributed control. We also extend the framework from handling state-based models to directly taking point clouds from LiDAR for more practical robotics settings. We demonstrated the efficacy of GCBF in a variety of numerical experiments, where the number, density, and traveling distance of agents, as well as the number of unseen and uncontrolled obstacles increase. Empirical results show that GCBF outperforms leading methods such as MAPPO and multi-agent distributed CBF (MDCBF). Trained with only 16 agents, GCBF can achieve up to 3 times improvement of success rate (agents reach goals and never encountered in any collisions) on <500 agents, and still maintain more than 50% success rates for >1000 agents when other methods completely fail.

연구 동기 및 목표

• 움직이는 장애물이 존재하는 대규모 다중 에이전트 시스템에서의 확장성, 일반화 능력 및 안전성 도전 과제를 해결하기 위해.
• 기존 CBF 및 다중 에이전트 강화 학습(MARL) 방법이 수작업으로 설정한 제약 조건에 의존하거나 모든 이웃을 동일하게 취급하는 데서 비롯되는 한계를 극복하기 위해.
• 안전성을 유지하면서도 새로운 에이전트와 장애물을 일반화할 수 있는 분산형 로컬 제어를 가능하게 하기 위해.
• 실세계 적용 가능성을 높이기 위해 LiDAR 포인트 클라우드 관측치를 통합하여 동적이고 알 수 없는 환경에서의 적용을 가능하게 하기 위해.
• 이전 방법이 실패하는 대규모 다중 에이전트 작업에서 높은 성공률를 달성하기 위해.

제안 방법

• 에이전트 상호작용의 동적 그래프 구조를 사용해 안전 제약 조건을 인코딩하는 신경망 기반 CBF인 그래프 제어 장벽 함수(GCBF)를 제안한다.
• 그래프 신경망(GNN)을 사용해 GCBF 증명서와 변화하는 이웃 구조에 적응하는 분산 제어 정책을 동시에 학습한다.
• 제어되는 에이전트와 제어되지 않는 장애물(예: 정적 또는 동적 장애물)을 식별하기 위해 LiDAR 포인트 클라우드를 입력으로 통합한다.
• 시간 도함수 제약 조건을 포함한 연속 시간 CBF 설정을 사용해 안전 영역의 전방 불변성을 보장하며, 성능을 떨어뜨리는 이산화 근사화를 피한다.
• 시간에 따라 변화하는 그래프 구조와 시스템 동역학 하에서 안전성을 유지하기 위해 안전 제어 집합에서 부드러운 제어 입력 선택을 적용한다.
• 제안된 프레임워크 하에서 이론적 CBF 기반의 전방 불변성 논증을 통해 안전 보장을 입증한다.

실험 결과

연구 질문

• RQ1 학습 기반 CBF 프레임워크는 동적이고 알 수 없는 장애물이 존재하는 대규모 다중 에이전트 시스템에서 안전성을 유지할 수 있는가?
• RQ2 GCBF는 훈련 분포를 초월해 새로운 수의 에이전트와 장애물 구성에 대해 일반화할 수 있는가?
• RQ3 LiDAR 관측치 통합이 실세계 유사 환경에서의 강인성과 성능을 향상시키는가?
• RQ4 GCBF는 MAPPO 및 MDCBF와 같은 최신 기술(SOTA) 방법에 비해 성공률과 확장성 측면에서 어떻게 비교되는가?
• RQ5 GCBF는 큼직한 드론인 큐어리플라이(quadrotor)의 복잡한 현실 동역학에서도 높은 성능를 유지할 수 있는가?

주요 결과

• 단지 16개의 에이전트로 훈련된 GCBF는 500명 이하의 에이전트가 있는 환경에서 MAPPO 및 MDCBF보다 최대 3배 높은 성공률를 기록한다.
• 1000명 이상의 에이전트가 있는 대규모 시나리오에서는 기준선 방법이 거의 0%의 성공률를 기록하는 데 반해, GCBF는 50–100%의 성공률를 유지한다.
• 테스트 중 최대 32개의 큰 장애물이 존재하는 장애물 풍부한 환경에서, 훈련 시 16개의 점 크기 장애물만 사용한 기준선 대비 GCBF는 성공률를 15% 이상 향상시킨다.
• GCBF는 큼직한 드론인 큼직한 드론(CrazyFlie)의 동역학에 효과적으로 일반화되어 128명의 에이전트로 98.9%의 성공률를 기록하며, 복잡한 현실 동역학에 대한 강인성을 입증한다.
• 변화하는 그래프 구조와 LiDAR 기반 관측치 하에서도 이론적 CBF 기반의 전방 불변성 논증을 통해 안전 보장을 유지한다.
• 실험 결과는 GCBF가 장애물 없음 및 장애물 포함된 2D 및 3D 환경에서 모든 테스트 스케일에서 MDCBF 및 MAPPO를 모두 초월함을 확인한다.