[论文解读] Accelerating Natural Gradient with Higher-Order Invariance

Yang Song, Song, Jiaming+1 more|arXiv (Cornell University)|Mar 4, 2018

Model Reduction and Neural Networks参考文献 20被引用 6

一句话总结

本文通过利用二阶龙格-库塔积分器和测地线校正，提出了一种更高阶的不变优化方法，用于自然梯度下降，以提升模型重参数化下的不变性。该方法在深度神经网络训练和强化学习中实现了更快的收敛速度，同时保持了与标准自然梯度相当的计算效率。

ABSTRACT

An appealing property of the natural gradient is that it is invariant to arbitrary differentiable reparameterizations of the model. However, this invariance property requires infinitesimal steps and is lost in practical implementations with small but finite step sizes. In this paper, we study invariance properties from a combined perspective of Riemannian geometry and numerical differential equation solving. We define the order of invariance of a numerical method to be its convergence order to an invariant solution. We propose to use higher-order integrators and geodesic corrections to obtain more invariant optimization trajectories. We prove the numerical convergence properties of geodesic corrected updates and show that they can be as computationally efficient as plain natural gradient. Experimentally, we demonstrate that invariance leads to faster optimization and our techniques improve on traditional natural gradient in deep neural network training and natural policy gradient for reinforcement learning.

研究动机与目标

• 解决由于有限步长导致的实际自然梯度方法中不变性丧失的问题。
• 将不变性形式化为黎曼几何与数值积分中理想解的收敛性质。
• 设计具有更高阶收敛性的数值积分器，以在重参数化下保持不变性。
• 在不牺牲计算效率的前提下，提升深度学习和强化学习中的优化速度与稳定性。

提出的方法

• 将不变性的阶定义为数值方案向理想、真正不变解收敛的速率。
• 为自然梯度动力学提出一种二阶龙格-库塔积分器，以实现对精确解的二阶收敛。
• 基于黎曼联络提出测地线校正，以提升不变性，其收敛阶次为二阶，接近黎曼欧拉方法。
• 推导出利用对偶数的反向模式自动微分高效计算测地线校正项的算法。
• 实现一种快速的测地线校正变体，保持二阶不变性，同时计算时间效率与标准自然梯度相近。
• 将该方法应用于深度神经网络和强化学习中的自然策略梯度，作为即插即用的替代方案。

实验结果

研究问题

• RQ1 能否设计出自然梯度数值积分方案，使其在模型重参数化下保持不变性，且超越一阶？
• RQ2 数值方法的收敛阶次与黎曼优化中其不变性特性之间有何关系？
• RQ3 更高阶积分器与测地线校正能否提升深度学习和强化学习中的优化速度与稳定性？
• RQ4 测地线校正方法是否近似牛顿法，或是否在不依赖曲率假设的情况下保持更高阶不变性？
• RQ5 与标准自然梯度相比，该方法在大规模模型上的计算可行性如何？

主要发现

• 所提出的二阶龙格-库塔积分器实现了对精确自然梯度解的二阶收敛，相比一阶欧拉方法显著提升了不变性。
• 测地线校正方法以二阶收敛至黎曼欧拉方法，显著增强了不变性与优化稳定性。
• 实验表明，在深度神经网络训练和自然策略梯度强化学习中，其收敛速度优于标准自然梯度。
• 测地线校正方法在保持二阶不变性的同时计算高效——其速度与标准自然梯度相近。
• 实证结果表明，测地线校正与牛顿型近似（如Perturb）之间的性能差距随时间扩大，表明该方法并非依赖于小曲率假设。
• 小曲率近似仅在短期内成立，测地线校正的有效性并非源于高阶Hessian近似，而是源于对内在不变性的保持。