[论文解读] Time-Varying Formation Controllers for Unmanned Aerial Vehicles Using Deep Reinforcement Learning

Ronny Conde, J.R. Llata+1 more|arXiv (Cornell University)|Jun 5, 2017

Distributed Control Multi-Agent Systems参考文献 10被引用 11

一句话总结

本文提出了一种基于深度强化学习（DRL）的多智能体控制器，用于无人飞行器（UAVs），以高效实现时变队形。通过使用具有深度Q网络的集中式评论家，该方法学习到可扩展、可移植的策略，仅依赖状态观测即可在不同队形间泛化，且在任务间无需改变网络结构或超参数设置即可实现快速收敛。

ABSTRACT

We consider the problem of designing scalable and portable controllers for unmanned aerial vehicles (UAVs) to reach time-varying formations as quickly as possible. This brief confirms that deep reinforcement learning can be used in a multi-agent fashion to drive UAVs to reach any formation while taking into account optimality and portability. We use a deep neural network to estimate how good a state is, so the agent can choose actions accordingly. The system is tested with different non-high-dimensional sensory inputs without any change in the neural network architecture, algorithm or hyperparameters, just with additional training.

研究动机与目标

• 解决为动态、时变队形设计可扩展且可移植的UAV队形控制器的挑战。
• 克服传统控制方法在处理复杂、非平稳队形任务时的局限性。
• 通过端到端学习，使UAV能够快速高效地达到期望队形。
• 确保策略在无需重新训练或结构更改的情况下，跨不同队形实现泛化。
• 在仅使用有限感知输入的情况下展示鲁棒性，并在多样化场景中保持一致的性能。

提出的方法

• 采用具有集中式评论家和去中心化执行者的多智能体深度强化学习框架。
• 使用深度Q网络（DQN）估计状态动作值函数以实现策略学习。
• 使用奖励函数进行策略训练，以鼓励快速收敛至目标队形。
• 在深度强化学习设置中应用经验回放和目标网络以稳定训练过程。
• 以原始状态观测（如相对位置和速度）作为输入，避免高维感知预处理。
• 在多个队形中仅通过额外微调即可复用相同的神经网络架构，确保可移植性。

实验结果

研究问题

• RQ1 深度强化学习能否学习到适用于时变队形的可扩展且可移植的UAV队形控制器？
• RQ2 该DRL策略在仅做极少网络结构或超参数调整的情况下，对不同队形形状的泛化能力如何？
• RQ3 该控制器在仅使用低维状态输入的情况下，能在多大程度上实现对目标队形的快速收敛？
• RQ4 集中式训练与去中心化执行（CTDE）框架在多UAV协同任务中的表现如何？
• RQ5 所学习的策略是否能在无需重新训练的情况下，保持在多样化队形配置下的稳定性和最优性？

主要发现

• 基于DRL的控制器能够以高可靠性和高速度引导UAV成功实现多种时变队形。
• 相同的神经网络架构可在无需重新训练或调整超参数的情况下泛化至多种队形。
• 该方法实现了对目标队形的快速收敛，训练过程中累积奖励偏差始终保持较低且稳定。
• 控制器仅依赖相对位置和速度作为输入，即可在多样化队形中保持性能，展现出鲁棒性。
• 该方法具有可扩展性，即在一种队形类型上进行训练后，可仅通过少量额外微调推广至其他队形。
• 集中式评论家与去中心化执行的结合实现了复杂队形任务中的稳定训练和有效的多智能体协同。