[논문 리뷰] Learning Decentralized Controllers for Robot Swarms with Graph Neural Networks

Ekaterina Tolstaya, Fernando Gama외 4명|arXiv (Cornell University)|2019. 03. 25.

Advanced Graph Neural Networks참고 문헌 39인용 수 66

한 줄 요약

이 논문은 time-varying graphs와 multi-hop 정보를 다루는 aggregation graph neural networks를 사용하여 중앙집중형 전문가를 모방함으로써 대형 로봇 군집에 대한 분산 컨트롤러를 학습한다. 또한 동적 통신으로 플로킹을 시연하고 순수 로컬 컨트롤러에 비해 성능이 향상되었음을 보인다.

ABSTRACT

We consider the problem of finding distributed controllers for large networks of mobile robots with interacting dynamics and sparsely available communications. Our approach is to learn local controllers that require only local information and communications at test time by imitating the policy of centralized controllers using global information at training time. By extending aggregation graph neural networks to time varying signals and time varying network support, we learn a single common local controller which exploits information from distant teammates using only local communication interchanges. We apply this approach to the problem of flocking to demonstrate performance on communication graphs that change as the robots move. We examine how a decreasing communication radius and faster velocities increase the value of multi-hop information.

연구 동기 및 목표

• 제한된 통신으로 대형 로봇 군집에 대한 분산 제어의 동기를 부여한다.
• 로컬 정보를 사용하여 clairvoyant centralized controller를 모방하는 학습 프레임워크를 제안한다.
• time-varying graph signals와 네트워크 지원에 aggregation graph neural networks를 확장한다.
• 동적 통신 하에서 충돌 회피를 갖춘 flocking에 이 접근법을 시연한다.

제안 방법

• 로컬 상태와 행동을 가진 네트워크 시스템으로 군집을 모델링한다.
• time-varying shift operators S_n를 통해 다중 홉 이웃 정보를 처리하기 위해 aggregation graph neural networks를 사용한다.
• 공유 필터 H across nodes로 매개변수화된 로컬 정책 pi(H_in, H)를 정의한다.
• 전문가 pi*에 대한 손실을 최소화하여 전문가로부터 수집된 궤적을 사용해 정책을 학습한다.
• 시간 변화 그래프와 K-hop aggregation을 도입하여 거리가 먼 정보 전달을 가능하게 하면서 국지성을 유지한다.
• 학습 과정에서 분포 불일치를 다루기 위해 Dataset Aggregation (DAgger)을 적용한다.

실험 결과

연구 질문

• RQ1 aggregation GNN을 통해 학습된 단일 로컬 컨트롤러가 군집에서 글로벌 중앙집중 컨트롤러의 성능에 근접할 수 있는가?
• RQ2 time-varying 통신 네트워크 하에서 다중 홉 정보 교환이 분산 제어 성능을 향상시키는가?
• RQ3 네트워크 매개변수(예: 통신 반경, 에이전트 수, 초기 속도)가 flocking 성능에 어떠한 영향을 미치는가?
• RQ4 학습된 분산 컨트롤러를 서로 다른 네트워크 규모나 시나리오에 전이할 수 있는가(전이 학습)?
• RQ5 K-hop 집계 깊이가 전역과 같은 조정(협력)을 달성하는 데 어떤 영향을 미치는가?

주요 결과

• The GNN 컨트롤러는 속도 차이를 더 빠르게 수렴시키고 합의에 근접하며 로컬 컨트롤러보다 우수하다.
• The GNN은 로컬 컨트롤러가 실패하고 네트워크가 한계 범위로 인해 분리될 때 응집된 flocking을 유지한다.
• 성능은 K가 2–4 범위에서 향상되며, K=3–4는 여러 설정에서 종종 global controller와 일치하거나 근접한다.
• 고정 반경과 속도에서 더 큰 떼 규모일 때 플로킹 비용이 감소하며, GNN은 더 많은 수의 에이전트(예: 150)로 일반화한다.
• 학습된 컨트롤러는 리더가 있는 시나리오와 방사 속도를 가지는 격자에서도 효과적으로 전이되며, 빠른 응답을 위해 2-hop 및 3-hop aggregate를 활용한다.