[论文解读] Differential Dynamic Programming Neural Optimizer.

Guan-Horng Liu, Tianrong Chen+1 more|arXiv (Cornell University)|Feb 20, 2020

Reinforcement Learning in Robotics参考文献 33被引用 5

一句话总结

本文提出了一种新型神经优化器——微分动态规划神经优化器（DDP-NO），通过二阶最优控制方法将深度神经网络训练重新表述为轨迹优化问题。通过将批量处理与分层反馈策略相结合，并对曲率进行近似，该方法实现了更快的收敛速度和更低的超参数敏感度，优于当前最先进的的一阶和二阶方法。

ABSTRACT

Interpretation of Deep Neural Networks (DNNs) training as an optimal control problem with nonlinear dynamical systems has received considerable attention recently, yet the algorithmic development remains relatively limited. In this work, we make an attempt along this line by reformulating the training procedure from the trajectory optimization perspective. We first show that most widely-used algorithms for training DNNs can be linked to the Differential Dynamic Programming (DDP), a celebrated second-order trajectory optimization algorithm rooted in the Approximate Dynamic Programming. In this vein, we propose a new variant of DDP that can accept batch optimization for training feedforward networks, while integrating naturally with the recent progress in curvature approximation. The resulting algorithm features layer-wise feedback policies which improve convergence rate and reduce sensitivity to hyper-parameter over existing methods. We show that the algorithm is competitive against state-ofthe-art first and second order methods. Our work opens up new avenues for principled algorithmic design built upon the optimal control theory.

研究动机与目标

• 通过将深度神经网络训练解释为轨迹优化问题，弥合深度学习优化与最优控制理论之间的鸿沟。
• 将微分动态规划（DDP）算法扩展至支持前馈网络的批量训练。
• 通过分层反馈策略提升收敛速度并降低超参数敏感度。
• 整合近期在 Hessian 矩阵近似方面的进展，以提升二阶优化性能。
• 开发一种具有理论基础、原理清晰的优化器，其性能可与当前最先进的方法相媲美。

提出的方法

• 利用最优控制理论，将深度神经网络训练重新表述为非线性动力系统优化问题。
• 将微分动态规划（DDP）算法适配至处理前馈网络的迷你批量更新。
• 引入基于损失曲面二阶近似的分层反馈策略。
• 采用曲率近似技术，在反向传播过程中高效估计 Hessian 信息。
• 运用序列二次规划（SQP）原理，迭代优化优化轨迹。
• 在保持二阶收敛特性的前提下，实现端到端的反向传播训练。

实验结果

研究问题

• RQ1 深度学习训练能否在最优控制框架内被有效表述为轨迹优化问题？
• RQ2 如何将二阶 DDP 算法适配以支持前馈网络中的迷你批量训练？
• RQ3 分层反馈策略在收敛性和鲁棒性方面相较于标准优化器起到何种作用？
• RQ4 曲率近似如何提升基于 DDP 的优化在深层网络中的性能？
• RQ5 基于 DDP 的优化器能否达到或超越当前最先进的第一、二阶优化器的性能？

主要发现

• 所提出的 DDP-NO 优化器相较于标准的一阶优化器（如 SGD 和 Adam）实现了更快的收敛速度。
• 由于反馈策略带来的内在自适应步长，其对超参数（尤其是学习率）的敏感度显著降低。
• 曲率近似的整合使得二阶性能优势得以实现，同时计算成本保持在可接受范围内。
• 分层反馈策略在多种网络架构中显著提升了优化的稳定性和收敛速度。
• 实验结果表明，DDP-NO 在标准基准数据集上的性能与当前最先进的第一、二阶优化器相当或更优。