[논문 리뷰] Graph Neural Networks for Decentralized Multi-Robot Submodular Action Selection

Lifeng Zhou, V D Sharma외 5명|arXiv (Cornell University)|2021. 05. 18.

Distributed Control Multi-Agent Systems참고 문헌 31인용 수 7

한 줄 요약

이 논문은 국소적 관측과 이웃 로봇 간 통신을 통해 행동을 선택하여 추적 성능을 최대화하는 분산 다중로봇 목표 추적을 위한 그래프 신경망(GNN) 기반 학습 프레임워크를 제안한다. 중심화된 탐욕 알고리즘을 모방하도록 훈련된 GNN는 주어진 속도로 인해 오랜 시간이 걸리는 중심화된 알고리즘에 비해 오랜 시간이 걸리지 않으며, 훈련 분포 외의 로봇 수와 환경에 대해 강력한 일반화 성능을 보인다.

ABSTRACT

The problem of decentralized multi-robot target tracking asks for jointly selecting actions, e.g., motion primitives, for the robots to maximize target tracking performance with local communications. One major challenge for practical implementations is to make target tracking approaches scalable for large-scale problem instances. In this work, we propose a general-purpose learning architecture toward collaborative target tracking at scale, with decentralized communications. Particularly, our learning architecture leverages a graph neural network (GNN) to capture local interactions of the robots and learns decentralized decision-making for the robots. We train the learning model by imitating an expert solution and implement the resulting model for decentralized action selection involving local observations and communications only. We demonstrate the performance of our GNN-based learning approach in a scenario of active target tracking with large networks of robots. The simulation results show our approach nearly matches the tracking performance of the expert algorithm, and yet runs several orders faster with up to 100 robots. Moreover, it slightly outperforms a decentralized greedy algorithm but runs faster (especially with more than 20 robots). The results also exhibit our approach's generalization capability in previously unseen scenarios, e.g., larger environments and larger networks of robots.

연구 동기 및 목표

• 제한된 통신 환경에서 다중로봇 목표 추적의 확장성과 분산성 문제를 해결하기 위해.
• 국소적 관측과 이웃 간 통신만을 사용하여 빠르고 분산된 행동 선택이 가능한 기반 학습 기반 접근법을 개발하기 위해.
• 부하 함수 최대화를 위한 중심화된 탐욕 알고리즘을 모방하도록 GNN 정책을 훈련하기 위해.
• 훈련 분포 외의 더 큰 로봇 팀과 새로운 환경으로의 일반화 성능을 평가하기 위해.
• 중앙집중식 및 분산 탐욕 기반 기준선 대비 뚜렷하게 감소된 추론 시간으로 높은 추적 성능를 달성하기 위해.

제안 방법

• 로봇 간 상호작용을 모델링하기 위해 그래프 신경망(GNN)을 사용하며, 각 로봇은 노드로, 간선은 통신 범위를 나타낸다.
• GNN은 원시 센서 측정치와 국소 관측치를 처리하며, 메시지 전달을 통해 이웃 로봇으로부터 정보를 집계한다.
• GNN 정책는 중심화된 탐욕 알고리즘의 행동을 전문가 시범으로 사용하여 지도적 암기 학습 방식으로 훈련된다.
• GNN 아키텍처는 원시 이미지나 센서 데이터를 처리할 수 있도록 인식 모듈(예: CNN)과 통합되어 원시 입력에서부터 엔드 투 엔드 학습이 가능하다.
• GNN은 더 작은 로봇 수(예: N=20)에서 훈련하고 더 큰 수(예: N=100)에서 테스트하여, 예상치 못한 스케일에 대한 일반화를 가능하게 한다.
• 통신은 이웃 로봇에 국한되어 있어, 최소한의 조율 오버헤드로 분산 운영이 보장된다.

실험 결과

연구 질문

• RQ1 GNN 기반 암기 학습 프레임워크는 분산 다중로봇 목표 추적에서 전문가 수준의 추적 성능를 달성할 수 있는가?
• RQ2 로봇 수가 증가함에 따라 GNN 기반 접근법의 추론 속도와 추적 품질은 어떻게 변화하는가?
• RQ3 재훈련 없이도 GNN 정책은 더 큰 로봇 팀과 새로운 환경으로 일반화할 수 있는가?
• RQ4 GNN는 분산 탐욕 및 무작위 기반 기준선 정책에 비해 성능과 속도에서 어떻게 비교되는가?
• RQ5 GNN는 분산 결정 및 확장성 유지와 함께 원시 센서 데이터를 효과적으로 처리할 수 있는가?

주요 결과

• GNN 접근법은 최적 해의 1.5% 이내의 추적 성능를 달성하며, 목표 커버리지 측면에서 중심화된 탐욕 알고리즘(Centrl-gre)과 거의 동일한 성능를 보였다.
• 100대의 로봇에서 GNN는 추론당 1ms 미만으로 실행되어 Centrl-gre 대비 1.5에서 2.5개의 지수 차수 빠른 성능를 기록했다.
• 로봇 수가 20을 초과할수록 특히 빠른 속도를 기록하면서도, GNN는 분산 탐욕(Decent-gre) 알고리즘보다 추적 품질에서 뛰어난 성능를 보였다.
• GNN는 예상치 못한 로봇 수에 대해 잘 일반화된다: 20대 로봇에서 훈련한 경우, N=20에서 50까지의 로봇 수에서 Centrl-gre 성능의 약 88.6%에서 89.5%를 유지했다.
• GNN는 더 큰 환경과 예상치 못한 구성 요소로도 일반화되며, 다양한 시나리오에서 1000번의 시험에서 일관된 성능를 기록했다.
• GNN는 더 적은 로봇 수(예: N=4에서 10)에서도 높은 성능를 유지하여, 다양한 스케일에서의 강건성을 입증했다.