[论文解读] Kalman Gradient Descent: Adaptive Variance Reduction in Stochastic Optimization

James Vuckovic|arXiv (Cornell University)|Oct 29, 2018

Stochastic Gradient Optimization Techniques参考文献 17被引用 11

一句话总结

本文提出卡尔曼梯度下降（KGD），一种使用卡尔曼滤波自适应降低随机梯度下降中梯度方差的随机优化算法。通过将梯度估计建模为线性动态系统并应用最优线性滤波，KGD在非凸设置下实现了改进的收敛性，并在神经网络和变分推断中表现出色，其扩展适用于动量和RMSProp，且具备可扩展的分布式变体。

ABSTRACT

We introduce Kalman Gradient Descent, a stochastic optimization algorithm that uses Kalman filtering to adaptively reduce gradient variance in stochastic gradient descent by filtering the gradient estimates. We present both a theoretical analysis of convergence in a non-convex setting and experimental results which demonstrate improved performance on a variety of machine learning areas including neural networks and black box variational inference. We also present a distributed version of our algorithm that enables large-dimensional optimization, and we extend our algorithm to SGD with momentum and RMSProp.

研究动机与目标

• 为解决深度学习中高梯度方差带来的收敛性和性能下降问题。
• 开发一种通用的、与具体机器学习应用无关的自适应方差减少框架。
• 将卡尔曼滤波方法扩展至SGD带动量和RMSProp等现代优化算法。
• 通过算法的分布式变体实现大规模优化。
• 在具有无偏梯度估计的非凸设置下，提供理论收敛保证。

提出的方法

• 将随机梯度下降更新建模为一个离散时间、时变（LTV）的线性系统，状态向量为 [x_t; g_t]，其中 g_t 是真实梯度的隐藏估计。
• 应用卡尔曼滤波通过最小化滤波估计与真实梯度之间的均方误差，来估计真实梯度，使用噪声测量 g(x_t; ξ_t)。
• 推导出时变系统矩阵 A_t 和测量矩阵 C_t 的卡尔曼滤波更新方程，过程噪声和测量噪声均建模为零均值高斯分布。
• 在更新规则中使用滤波后的梯度估计替代随机梯度：x_{t+1} = x_t - α_t * (filtered g_t)。
• 通过将卡尔曼滤波集成到动量和自适应学习率更新动态中，将该框架扩展至带动量的SGD和RMSProp。
• 提出KGD的分布式变体，通过划分状态空间并在各节点上并行应用滤波，实现高维优化。

实验结果

研究问题

• RQ1 卡尔曼滤波是否可以在不依赖问题特定假设的前提下，有效降低随机优化中的梯度方差？
• RQ2 在具有无偏梯度估计的非凸优化问题中，卡尔曼梯度下降算法是否能收敛至驻点？
• RQ3 在多种机器学习任务中，KGD与标准SGD及其他方差减少技术相比，其收敛速度和最终损失表现如何？
• RQ4 卡尔曼滤波框架能否有效扩展至带动量和自适应学习率的优化算法？
• RQ5 KGD在大规模高维设置下的可扩展性如何？其分布式变体与集中式实现相比表现如何？

主要发现

• 理论分析证明，在标准假设下，梯度范数的期望收敛至零，意味着在非凸设置下可收敛至驻点。
• 在前馈和卷积神经网络上，KGD相比标准SGD及其他方差减少基线方法，实现了更快的收敛速度和更低的最终损失。
• 在黑箱变分推断中，KGD在ELBO收敛性和稳定性方面优于基线方法。
• KGD的分布式版本在大规模优化任务中保持了良好性能，并随工作节点数量有效扩展。
• 对动量和RMSProp的扩展表明，KGD可无缝集成至现有自适应优化框架中，并带来一致的性能提升。
• 实验结果表明，KGD比基线方法更有效地降低了梯度噪声，从而实现了更稳定和高效的训练。