[论文解读] Learning of Coordination Policies for Robotic Swarms

Qiyang Li, Xintong Du+3 more|arXiv (Cornell University)|Sep 19, 2017

Mobile Crowdsensing and Crowdsourcing参考文献 1被引用 7

一句话总结

本文提出一种深度学习方法，将集中式协调策略蒸馏为用于机器人蜂群的分布式策略，采用可微分的多智能体神经网络联合学习动作策略与通信协议。该方法在会合与粒子分配任务上实现了与集中式策略相当的性能，甚至解决了此前未解的问题，且通信向量具有可解释性，可传达方向意图。

ABSTRACT

Inspired by biological swarms, robotic swarms are envisioned to solve real-world problems that are difficult for individual agents. Biological swarms can achieve collective intelligence based on local interactions and simple rules; however, designing effective distributed policies for large-scale robotic swarms to achieve a global objective can be challenging. Although it is often possible to design an optimal centralized strategy for smaller numbers of agents, those methods can fail as the number of agents increases. Motivated by the growing success of machine learning, we develop a deep learning approach that learns distributed coordination policies from centralized policies. In contrast to traditional distributed control approaches, which are usually based on human-designed policies for relatively simple tasks, this learning-based approach can be adapted to more difficult tasks. We demonstrate the efficacy of our proposed approach on two different tasks, the well-known rendezvous problem and a more difficult particle assignment problem. For the latter, no known distributed policy exists. From extensive simulations, it is shown that the performance of the learned coordination policies is comparable to the centralized policies, surpassing state-of-the-art distributed policies. Thereby, our proposed approach provides a promising alternative for real-world coordination problems that would be otherwise computationally expensive to solve or intangible to explore.

研究动机与目标

• 解决在集中式控制不可行的大规模机器人蜂群中设计高效分布式协调策略的挑战。
• 开发一种基于学习的方法，减少对复杂任务中控制律与通信协议的人工设计依赖。
• 实现高性能集中式策略向可扩展、去中心化策略的迁移，适用于同质机器人蜂群。
• 分析涌现的通信协议，为未来人工设计蜂群协调系统提供洞见。
• 在经典任务（会合）和新颖复杂任务（粒子分配）上验证该方法的有效性，后者此前无已知的分布式解决方案。

提出的方法

• 该方法采用多步、多智能体神经网络（MSMANN），将所有智能体的多步观测映射为多步动作，支持端到端反向传播。
• 分布式策略网络以可微分深度神经网络实现，处理本地观测与输入的通信向量，输出动作与新的通信信号。
• 将通信向量视为MSMANN中的隐藏状态，使反向传播能够联合优化动作策略与通信协议。
• 利用预设计的集中式策略作为监督信号，实现高效训练，无需基于奖励的强化学习。
• 通信的输入与输出向量采用固定大小，可控制通信带宽，并支持对学习表示的分析。
• 该方法应用于不同智能体数量的任务，包括2至20个智能体，以评估可扩展性与泛化能力。

实验结果

研究问题

• RQ1 深度学习方法能否有效将集中式协调策略迁移至机器人蜂群的分布式策略？
• RQ2 所学习的通信协议如何促进集体行为？其含义是否可被有意义地解释？
• RQ3 该方法能否在粒子分配等复杂任务上实现与集中式策略相当的性能，而这些任务此前无已知的分布式策略？
• RQ4 通信维度如何影响任务性能？实现有效协调所需的最小通信容量是多少？
• RQ5 所学习的分布式策略是否能在不同蜂群规模间泛化，并在复杂协调场景中保持鲁棒性？

主要发现

• 所学习的分布式策略在不同智能体数量下，于会合任务上的性能与集中式策略相当，且优于当前最先进的分布式控制律。
• 对于此前无分布式策略解法的粒子分配任务，该方法实现了接近集中式基线的性能，尤其在小蜂群（最多10个智能体）中表现更优。
• 将通信向量维度从2维降至1维导致性能显著下降，表明2维通信对表达方向意图至关重要。
• 对学习策略的可视化显示，通信向量充当‘意图向量’，引导智能体朝向目标方向，且动作概率与通信向量方向一致。
• 该方法成功实现了涌现行为，如追踪远距离目标、探索多个目标以及解决分配冲突，且无需显式规则。
• 通信分析表明，智能体利用通信传达方向性倾向，提示所学协议可为未来人工设计的协调方案提供启发。