[论文解读] Distributed neural network control with dependability guarantees: a compositional port-Hamiltonian approach

Luca Furieri, Clara Lucía Galimberti+2 more|arXiv (Cornell University)|Dec 16, 2021

Control and Stability of Dynamical Systems被引用 4

一句话总结

该论文提出 DeepDisCoPH，一种用于大规模非线性网络物理系统的分布式神经网络控制的组合式端口-哈密顿方法。通过围绕基于能量的哈密顿函数构建深度神经ODE控制器，该方法无论网络规模或训练进度如何，均能保证闭环稳定性和非消失梯度，同时在多机器人协同避障的数值实验中实现了近似最优性能。

ABSTRACT

Large-scale cyber-physical systems require that control policies are distributed, that is, that they only rely on local real-time measurements and communication with neighboring agents. Optimal Distributed Control (ODC) problems are, however, highly intractable even in seemingly simple cases. Recent work has thus proposed training Neural Network (NN) distributed controllers. A main challenge of NN controllers is that they are not dependable during and after training, that is, the closed-loop system may be unstable, and the training may fail due to vanishing and exploding gradients. In this paper, we address these issues for networks of nonlinear port-Hamiltonian (pH) systems, whose modeling power ranges from energy systems to non-holonomic vehicles and chemical reactions. Specifically, we embrace the compositional properties of pH systems to characterize deep Hamiltonian control policies with built-in closed-loop stability guarantees, irrespective of the interconnection topology and the chosen NN parameters. Furthermore, our setup enables leveraging recent results on well-behaved neural ODEs to prevent the phenomenon of vanishing gradients by design. Numerical experiments corroborate the dependability of the proposed architecture, while matching the performance of general neural network policies.

研究动机与目标

• 为解决大规模非线性系统分布式神经网络控制中的关键挑战，特别是训练过程中出现的不稳定性和梯度消失/爆炸问题。
• 开发一种可扩展的、组合式的控制架构，确保闭环稳定性，不受互连拓扑或神经网络参数的影响。
• 通过内在设计防止梯度消失，实现深度神经ODE控制器的稳定训练，避免依赖梯度裁剪或正交权重约束。
• 在分布式控制任务（如多机器人编队与避碰）中实现近似最优性能，同时在扰动和提前终止训练条件下保持稳定性。

提出的方法

• 该方法采用组合式端口-哈密顿（pH）框架来建模互连的非线性系统，利用其内在的能量整形特性实现稳定性。
• 将控制器参数化为一个深度神经ODE，其演化系统的哈密顿能量函数，通过设计确保能量守恒与无源性。
• 控制器的结构设计使得闭环系统在任意互连拓扑和网络深度下均保持无源性和稳定性。
• 该架构嵌入行为良好的神经ODE动力学，从根本上防止梯度消失与爆炸，无需依赖梯度裁剪或特殊权重矩阵。
• 损失函数结合了标准控制代价、通过平滑倒距离项实现的碰撞避免惩罚，以及时间权重正则化，以促进策略的平滑演化。
• 通过多机器人协同的数值实验验证了该方法，控制器在有限时间窗内被训练以到达目标位置并避免碰撞。

实验结果

研究问题

• RQ1 能否设计一种分布式神经网络控制器，确保任意非线性端口-哈密顿系统网络的闭环稳定性，无论其拓扑结构或训练进度如何？
• RQ2 在具有大量神经ODE层和系统耗散的情况下，所提出的架构是否能防止训练过程中的梯度消失与爆炸？
• RQ3 在训练提前终止或初始条件受扰动的情况下，控制器是否仍能保持稳定性和性能？
• RQ4 与标准分布式MLP相比，DeepDisCoPH控制器在稳定性与控制目标方面的性能表现如何？

主要发现

• DeepDisCoPH控制器在5秒的训练时间窗内成功引导所有机器人到达目标位置，避免碰撞，同时最小化控制努力并保持稳定。
• 与标准分布式MLP控制器相比，DeepDisCoPH控制器在训练完成后仍能在10倍长的时间窗内保持闭环稳定性。
• 尽管网络深度高且存在耗散，训练过程中梯度始终未消失，表现为所有迭代中雅可比项 ∂ζj/∂ζi 的范数保持一致。
• 即使在完整训练时长的5%、25%、50%或75%处提前停止训练，闭环系统仍保持稳定，证实了理论上的可靠性保证。
• 控制器对初始状态扰动具有鲁棒性，在95%的模拟中，当初始状态取自名义初始状态的半径为0.5的邻域时，均能避免碰撞。
• DeepDisCoPH的性能在控制代价和碰撞避免方面与通用神经网络策略相当，同时提供了可证明的稳定性与梯度行为保证。