[论文解读] Implicit energy regularization of neural ordinary-differential-equation control

Lucas Böttcher, Nino Antulov-Fantulin+1 more|arXiv (Cornell University)|Mar 11, 2021

Model Reduction and Neural Networks参考文献 1被引用 4

一句话总结

本文提出神经ODE控制（NODEC），一种可微分框架，可在无需显式能量正则化的情况下学习动力系统的最优控制信号。通过利用神经ODE和梯度下降，NODEC隐式地对控制能量进行正则化，在线性和非线性系统中均实现了与解析最优控制方法相当的性能，包括Kuramoto振子同步。

ABSTRACT

Although optimal control problems of dynamical systems can be formulated within the framework of variational calculus, their solution for complex systems is often analytically and computationally intractable. In this Letter we present a versatile neural ordinary-differential-equation control (NODEC) framework with implicit energy regularization and use it to obtain neural-network-generated control signals that can steer dynamical systems towards a desired target state within a predefined amount of time. We demonstrate the ability of NODEC to learn control signals that closely resemble those found by corresponding optimal control frameworks in terms of control energy and deviation from the desired target state. Our results suggest that NODEC is capable to solve a wide range of control and optimization problems, including those that are analytically intractable.

研究动机与目标

• 开发一种基于神经ODE的控制框架，可在无需显式能量正则化的情况下，将复杂动力系统引导至目标状态。
• 探究神经网络训练中的隐式正则化是否可产生接近最优控制解的能量消耗的控制信号。
• 在包括耦合振子同步在内的线性和非线性网络化动力系统上，证明该框架的有效性。
• 从控制能量和收敛速度两个方面，将NODEC的性能与解析最优控制方法和伴随梯度法（AGM）进行比较。
• 证明神经ODE可通过初始化与梯度下降的相互作用，隐式学习到能量正则化的控制策略。

提出的方法

• 将控制问题表述为由神经ODE控制的最优控制问题，其中控制输入由神经网络参数化。
• 使用损失函数最小化终态偏差，且不包含显式的控制能量惩罚项。
• 通过在网络权重上执行梯度下降来训练控制器，依赖通过ODE求解器的反向传播。
• 应用伴随敏感性方法计算通过ODE积分的梯度，实现端到端训练。
• 在各种网络拓扑（完全图、Erdős–Rényi图、Watts–Strogatz图、格点）下，将该方法应用于线性系统和非线性Kuramoto振子。
• 通过序参数和控制能量等指标，将学习到的控制信号和能量与解析最优控制和伴随梯度法（AGM）进行比较。

实验结果

研究问题

• RQ1 基于神经ODE的控制框架是否可在无需显式能量正则化的情况下，学习到与最优控制相当能量消耗的控制信号？
• RQ2 NODEC中的隐式正则化如何由神经网络初始化与梯度下降的相互作用产生？
• RQ3 NODEC在多大程度上可匹配解析最优控制在线性动力系统中的性能？
• RQ4 NODEC是否可在Kuramoto振子等非线性网络化系统中实现接近最优的控制能量和同步性能？
• RQ5 在多种网络拓扑下，NODEC在收敛速度和能效方面与伴随梯度法（AGM）相比表现如何？

主要发现

• NODEC成功将线性动力系统驱动至目标状态，其控制能量与解析最优控制解极为接近。
• 对于Kuramoto振子网络，NODEC在所有测试的网络类型中均比伴随梯度法（AGM）更快实现同步，且控制能量相当。
• 在所有网络拓扑（完全图、Erdős–Rényi图、Watts–Strogatz图、方形格点）中，NODEC的最终序参数均接近1，表明同步程度高，与AGM相当。
• NODEC的控制能量在所有网络类型中均与AGM处于同一量级，证明隐式正则化可产生节能的控制信号。
• 该框架在大规模系统中具有良好的泛化能力，补充材料中已成功在10,000个节点的方形格点上实现控制。
• 损失函数中未显式包含能量正则化项，但性能未受影响，因为隐式正则化自然地从训练动态中涌现。