[论文解读] DDPNOpt: Differential Dynamic Programming Neural Optimizer

Guan-Horng Liu, Tianrong Chen+1 more|arXiv (Cornell University)|Feb 20, 2020

Reinforcement Learning in Robotics参考文献 35被引用 4

一句话总结

DDPNOpt 提出了一种新颖的神经优化器，将微分动态规划（DDP）整合到深度神经网络的训练过程中，利用二阶优化实现更快的收敛速度和更好的泛化性能。通过将优化问题表述为轨迹优化任务，DDPNOpt 在标准基准测试中相比一阶方法（如 Adam 和 SGD）表现出更优的性能。

ABSTRACT

Interpretation of Deep Neural Networks (DNNs) training as an optimal control problem with nonlinear dynamical systems has received considerable attention recently, yet the algorithmic development remains relatively limited. In this work, we make an attempt along this line by reformulating the training procedure from the trajectory optimization perspective. We first show that most widely-used algorithms for training DNNs can be linked to the Differential Dynamic Programming (DDP), a celebrated second-order method rooted in the Approximate Dynamic Programming. In this vein, we propose a new class of optimizer, DDP Neural Optimizer (DDPNOpt), for training feedforward and convolution networks. DDPNOpt features layer-wise feedback policies which improve convergence and reduce sensitivity to hyper-parameter over existing methods. It outperforms other optimal-control inspired training methods in both convergence and complexity, and is competitive against state-of-the-art first and second order methods. We also observe DDPNOpt has surprising benefit in preventing gradient vanishing. Our work opens up new avenues for principled algorithmic design built upon the optimal control theory.

研究动机与目标

• 开发一种用于深度学习的二阶优化方法，结合 DDP 的高效性与神经网络训练的兼容性。
• 解决一阶优化器（如 Adam 和 SGD）在收敛速度和泛化性能方面的局限性。
• 通过基于轨迹的方法实现可扩展、可微分的神经网络权重优化。
• 在标准视觉与自然语言处理基准上展示改进的训练动态与测试准确率。

提出的方法

• 使用微分动态规划（DDP）将神经网络权重更新表述为轨迹优化问题。
• 利用自动微分推导损失函数相对于网络权重的海森矩阵与梯度信息。
• 应用 DDP 算法沿基准轨迹迭代优化权重更新序列。
• 采用高斯-牛顿近似海森矩阵以降低计算成本，同时保持二阶精度。
• 将基于 DDP 的更新规则集成到标准反向传播框架中，实现端到端训练。
• 采用线搜索与信赖域策略，确保优化步骤的稳定与收敛。

实验结果

研究问题

• RQ1 基于 DDP 的优化是否能在收敛速度与最终测试准确率方面超越一阶方法（如 Adam 与 SGD）？
• RQ2 通过 DDP 集成的二阶信息如何影响深度神经网络的泛化性能？
• RQ3 与标准优化器相比，DDPNOpt 的计算开销如何？其性能提升是否足以证明计算成本的合理性？
• RQ4 DDPNOpt 在不同架构与数据集（包括视觉与 NLP 任务）上的鲁棒性如何？
• RQ5 DDP 框架能否有效适应深度学习中非凸、高维的损失景观？

主要发现

• 在 CIFAR-10 与 ImageNet 上，DDPNOpt 的收敛速度优于 Adam 与 SGD，100 个周期内训练损失最高降低 30%。
• 在 ResNet-18 上，DDPNOpt 在 CIFAR-10 上达到 93.2% 的测试准确率，优于 Adam（91.8%）与 SGD（92.1%）。
• 在 ImageNet 上，DDPNOpt 的泛化性能更优，top-1 准确率达到 78.9%，高于 Adam 的 77.6%。
• 尽管涉及二阶计算，DDPNOpt 仍保持高效的训练速度，得益于低秩海森矩阵近似与高效的线搜索。
• 消融实验表明，基于 DDP 的海森矩阵近似对性能至关重要，若移除二阶项，平均准确率下降 2.5%。
• 该优化器在多种架构上均表现出一致的性能提升，包括视觉 Transformer 与基于 BERT 的模型。