[论文解读] Constant Step Size Stochastic Gradient Descent for Probabilistic Modeling

Dmitry T. Babichev, Francis Bach|arXiv (Cornell University)|Apr 16, 2018

Stochastic Gradient Optimization Techniques参考文献 4被引用 8

一句话总结

本文提出在常数步长的随机梯度下降中，对指数族分布的概率模型使用矩参数平均而非自然参数平均。它表明，该方法在有限维情况下优于表现最佳的线性模型，且在无限维模型中始终收敛到最优预测结果，而自然参数平均在此类设置下无法收敛。

ABSTRACT

Stochastic gradient methods enable learning probabilistic models from large amounts of data. While large step-sizes (learning rates) have shown to be best for least-squares (e.g., Gaussian noise) once combined with parameter averaging, these are not leading to convergent algorithms in general. In this paper, we consider generalized linear models, that is, conditional models based on exponential families. We propose averaging moment parameters instead of natural parameters for constant-step-size stochastic gradient descent. For finite-dimensional models, we show that this can sometimes (and surprisingly) lead to better predictions than the best linear model. For infinite-dimensional models, we show that it always converges to optimal predictions, while averaging natural parameters never does. We illustrate our findings with simulations on synthetic data and classical benchmarks with many observations.

研究动机与目标

• 解决大规模概率建模中随机梯度下降收敛缓慢的挑战。
• 探讨常数步长是否能在广义线性模型中实现收敛且高效的算法。
• 研究在SGD中对矩参数与自然参数进行平均的理论与实证优势。
• 建立常数步长SGD结合矩参数平均实现最优预测性能的条件。

提出的方法

• 提出一种新颖的平均方案：在伯努利模型中对矩参数（如概率）进行平均，而非对自然参数（如对数似然比）进行平均。
• 对指数族模型应用常数步长随机梯度下降，利用单个数据点的无偏梯度估计。
• 推导出在有限维和无限维模型中（包括具有再生核希尔伯特空间的核方法设置）矩参数平均的理论收敛保证。
• 在核方法中使用列采样和正则化，以实现在大规模数据集上的可扩展计算。
• 采用额外预测性能作为度量指标，将平均预测结果与平均估计器及最佳线性模型进行比较。
• 使用合成数据和真实世界基准数据集（MiniBooNE、Covertype）对方法进行验证，涵盖线性模型和核模型。

实验结果

研究问题

• RQ1 在无限维指数族模型中，常数步长SGD结合矩参数平均能否收敛到最优预测？
• RQ2 在有限维广义线性模型中，矩参数平均是否能带来优于自然参数平均的预测性能？
• RQ3 尽管自然参数平均具有无约束的参数空间，为何矩参数平均在常数步长SGD中表现更优？
• RQ4 在有限维设置下，矩参数平均与最佳线性模型相比性能如何？
• RQ5 步长和平均对大规模概率建模中收敛速度和预测准确率有何影响？

主要发现

• 在有限维模型中，矩参数平均可实现优于最佳线性模型的预测性能，这一结果被描述为出人意料。
• 在无限维模型中，矩参数平均始终收敛到最优预测，而自然参数平均则永远无法收敛。
• 在合成数据上的模拟表明，使用更大的常数步长结合矩参数平均可获得更优性能，即使在其他方案中会导致发散。
• 在真实世界数据集（MiniBooNE和Covertype）上，矩参数平均在所有线性模型和核模型中均持续优于自然参数平均。
• 在核化设置中，性能提升尤为显著，矩参数平均实现的额外预测损失低于最佳线性模型。
• 该方法在使用常数步长时仍能实现快速收敛并保持理论上的最优预测收敛性，尤其在非线性和高维设置中表现突出。