[论文解读] Learning Decentralized Controllers for Robot Swarms with Graph Neural Networks

Ekaterina Tolstaya, Fernando Gama+4 more|arXiv (Cornell University)|Mar 25, 2019

Advanced Graph Neural Networks参考文献 39被引用 66

一句话总结

该论文通过模仿一个集中专家，使用在时变图和多跳信息上操作的聚合图神经网络，学习大规模机器人群体的去中心化控制器。它演示了在动态通信下的成群行为，并展示了相较于纯局部控制器的性能提升。

ABSTRACT

We consider the problem of finding distributed controllers for large networks of mobile robots with interacting dynamics and sparsely available communications. Our approach is to learn local controllers that require only local information and communications at test time by imitating the policy of centralized controllers using global information at training time. By extending aggregation graph neural networks to time varying signals and time varying network support, we learn a single common local controller which exploits information from distant teammates using only local communication interchanges. We apply this approach to the problem of flocking to demonstrate performance on communication graphs that change as the robots move. We examine how a decreasing communication radius and faster velocities increase the value of multi-hop information.

研究动机与目标

• 激励在有限通信条件下对大规模机器人群进行去中心化控制。
• 提出一个学习框架，利用局部信息来模仿一个具备全知信息的中央控制器。
• 将聚合图神经网络扩展到时变的图信号和网络支持。
• 展示在动态通信下的带碰撞避免的成群控制方法。

提出的方法

• 将群体建模为具有局部状态和局部动作的网络化系统。
• 使用聚合图神经网络通过时变移位算子 S_n 处理多跳邻居信息。
• 将本地策略 pi(H_in, H) 参数化，过滤器 H 在各节点共享。
• 用专家收集的轨迹，最小化损失来训练策略，使其接近中央控制器 pi*。
• 引入时变图和 K 路聚合，以在保持局部性的同时实现远距离信息传播。
• 使用数据集聚合（DAgger）来解决训练过程中的分布不匹配。

实验结果

研究问题

• RQ1 通过聚合 GNN 学习的单一本地控制器能否逼近群体中全局中央控制器的性能？
• RQ2 多跳信息交换是否在时变通信网络下提升去中心化控制性能？
• RQ3 网络参数（如通信半径、智能体数量、初始速度）如何影响成群性能？
• RQ4 训练好的去中心化控制器能否迁移到不同网络规模或场景（迁移学习）？
• RQ5 K 路聚合深度对实现接近全局协同的影响？

主要发现

• GNN 控制器更快速地收敛速度差并趋近于共识，性能优于本地控制器。
• GNN 在局部控制器因射程受限而导致网络断连时仍能维持聚类成群。
• 当 K 取 2–4 时性能提升，且 K=3–4 常常在多种设置下接近或匹配全局控制器。
• 当半径和速度固定时，群体规模增大可降低成群成本，且 GNN 能泛化到更大数量的代理（如 150）。
• 学习得到的控制器在含领导者的情景以及带径向速度的网格中也能有效迁移，利用 2 跳和 3 跳聚合实现更快响应。