[论文解读] Gradient-free training of neural ODEs for system identification and control using ensemble Kalman inversion

Lucas Böttcher|arXiv (Cornell University)|Jul 15, 2023

Model Reduction and Neural Networks被引用 5

一句话总结

本文提出使用集合卡尔曼逆向法（EKI），一种无梯度优化方法，来训练神经微分方程（neural ODEs）以实现系统辨识与最优控制。EKI 在两项任务中均实现了与时间反向传播（BPTT）相当的性能，同时将训练时间减少了高达95%，并在控制任务中获得了更低的均方误差（MSE），证明其作为基于梯度方法的可行替代方案具有高效性和有效性。

ABSTRACT

Ensemble Kalman inversion (EKI) is a sequential Monte Carlo method used to solve inverse problems within a Bayesian framework. Unlike backpropagation, EKI is a gradient-free optimization method that only necessitates the evaluation of artificial neural networks in forward passes. In this study, we examine the effectiveness of EKI in training neural ordinary differential equations (neural ODEs) for system identification and control tasks. To apply EKI to optimal control problems, we formulate inverse problems that incorporate a Tikhonov-type regularization term. Our numerical results demonstrate that EKI is an efficient method for training neural ODEs in system identification and optimal control problems, with runtime and quality of solutions that are competitive with commonly used gradient-based optimizers.

研究动机与目标

• 研究集合卡尔曼逆向法（EKI）作为时间反向传播的无梯度替代方法，在系统辨识与最优控制中训练神经 ODE 的有效性。
• 将最优控制问题重新表述为带有 Tikhonov 类型正则化的反问题，以实现基于 EKI 的求解。
• 在收敛速度与解的质量方面，比较 EKI 与标准基于梯度的优化器（如 Adam 和 SGD）在训练神经 ODE 时的性能表现。
• 证明 EKI 能够高效处理最优控制任务中的控制能量正则化，同时保持高精度。

提出的方法

• 将系统辨识与最优控制问题建模为形式为 $ y = G(\theta) + \xi $ 的反问题，其中 $ \theta $ 为神经 ODE 的参数，$ y $ 为观测数据。
• 应用连续时间集合卡尔曼逆向法（EKI）通过神经 ODE 的前向评估迭代更新参数集 $ \{\theta^{(j)}\} $ 的集合，避免使用反向传播。
• 在损失函数中引入 Tikhonov 类型正则化项，以惩罚最优控制问题中的高控制能量，确保控制信号平滑。
• 推导考虑正则化项的 EKI 更新方程，使该方法能够以无梯度方式求解最优控制问题。
• 采用 Schillings & Stuart（2017）推导的 EKI 连续时间极限，以建模集合的演化，更新基于协方差与交叉协方差估计。
• 在基准系统辨识与控制任务上，实现并比较基于 EKI 与基于 BPTT 的 Adam 和 SGD 优化方法。

实验结果

研究问题

• RQ1 EKI 是否能在无需计算梯度的情况下有效训练神经 ODE 以完成系统辨识任务？
• RQ2 在系统辨识任务中，EKI 在收敛速度与解的准确性方面与基于梯度的优化器（如 Adam 和 SGD）相比表现如何？
• RQ3 EKI 是否能够通过无梯度方法适配带有控制能量正则化的最优控制问题？
• RQ4 正则化参数 $ \mu $ 对基于 EKI 的最优控制中学习到的控制与状态轨迹有何影响？
• RQ5 与基于 BPTT 的方法相比，EKI 在控制函数逼近方面是否实现了更低的均方误差（MSE）？

主要发现

• 在最优控制任务中，EKI 实现了 0.4–0.6 × 10⁻³ 的均方误差（MSE），比基于 BPTT 的 Adam 优化方法实现的 1–1.4 × 10⁻³ MSE 降低了约50%。
• EKI 仅在 4–5 次优化周期内即收敛至稳定解，而基于 BPTT 的 Adam 需约 90–100 个周期才能稳定。
• 基于 EKI 的方法训练速度约为每秒 1 个优化步骤，而 Adam 每秒可执行约 10 个步骤，表明尽管迭代次数更少，但实际运行时间显著缩短。
• 如图 3 所示的与真实值的可视化对比表明，使用 EKI 学习到的控制函数与系统状态轨迹与最优解高度接近。
• 正则化参数 $ \mu $ 显著影响学习到的控制信号：值较低时产生更激进的控制动作，值较高时则生成更平滑、能量更低的控制。
• EKI 在线性和非线性系统辨识任务中均表现出一致的性能，显示出对动力学复杂性的强鲁棒性。