[论文解读] Stochastic Gradient Descent with Biased but Consistent Gradient Estimators

Jie Chen, Ronny Luss|arXiv (Cornell University)|Jul 31, 2018

Stochastic Gradient Optimization Techniques参考文献 29被引用 26

一句话总结

该论文证明，使用一致但有偏的梯度估计器的随机梯度下降（SGD）在强凸、凸和非凸目标函数下，其收敛行为与无偏SGD相同。关键贡献在于理论分析表明，一致估计器——尤其在图结构学习中，无偏梯度计算在计算上不可行——可维持与无偏估计器相当的收敛速率，从而实现图神经网络等模型的高效训练。

ABSTRACT

Stochastic gradient descent (SGD), which dates back to the 1950s, is one of the most popular and effective approaches for performing stochastic optimization. Research on SGD resurged recently in machine learning for optimizing convex loss functions and training nonconvex deep neural networks. The theory assumes that one can easily compute an unbiased gradient estimator, which is usually the case due to the sample average nature of empirical risk minimization. There exist, however, many scenarios (e.g., graphs) where an unbiased estimator may be as expensive to compute as the full gradient because training examples are interconnected. Recently, Chen et al. (2018) proposed using a consistent gradient estimator as an economic alternative. Encouraged by empirical success, we show, in a general setting, that consistent estimators result in the same convergence behavior as do unbiased ones. Our analysis covers strongly convex, convex, and nonconvex objectives. We verify the results with illustrative experiments on synthetic and real-world data. This work opens several new research directions, including the development of more efficient SGD updates with consistent estimators and the design of efficient training algorithms for large-scale graphs.

研究动机与目标

• 分析使用一致（有偏）梯度估计器而非无偏估计器时，SGD的收敛行为。
• 解决图学习中的计算瓶颈问题，其中计算无偏梯度需要聚合大邻域的信息。
• 证明在一般优化设置下，一致估计器可实现与无偏估计器相同的收敛速率。
• 为使用有偏估计器的SGD提供理论保证，超越经验成功，实现形式化的收敛分析。
• 为大规模图结构化数据的高效、可扩展训练算法设计开辟新的研究方向。

提出的方法

• 对使用一致梯度估计器 $ g_k $ 的SGD进行理论分析，其中当样本量增加时，$ g_k $ 依概率收敛于真实梯度 $ \nabla f(w_k) $。
• 使用概率收敛界（而非基于期望的界）分析误差，以反映一致估计器的特性。
• 应用浓度不等式和尾部概率分析，量化一致估计器的收敛速度。
• 在合成数据和真实世界图数据集（Cora、Pubmed、Mixture）上进行实验验证，使用1层和2层GCNs。
• 比较一致估计器SGD与无偏SGD以及Adam在凸和非凸设置下的收敛曲线。
• 证明在GCNs中，一致估计器的失败概率呈现指数或更快的指数衰减，支持其实际可行性。

实验结果

研究问题

• RQ1 在强凸设置下，使用一致梯度估计器的SGD是否与使用无偏估计器的SGD具有相同的收敛速率？
• RQ2 一致梯度估计器能否在凸和非凸优化问题中保持收敛性，例如在训练深层图神经网络时？
• RQ3 在真实图数据上，一致估计器的收敛行为与无偏SGD和Adam相比如何？
• RQ4 一致梯度估计器的收敛速率在尾部概率上的表现如何？是否支持实际部署？
• RQ5 一致估计器是否可作为消息传递神经网络（超越GCNs）中无偏梯度的可扩展替代方案？

主要发现

• 在强凸、凸和非凸设置下，使用一致梯度估计器的SGD实现了与无偏SGD相同的收敛行为。
• 实验结果表明，使用一致估计器的SGD在合成数据和真实世界图数据上的收敛曲线与无偏SGD及Adam非常接近。
• 对于1层GCNs，一致梯度估计器的失败概率随样本量呈快于指数的衰减，表明收敛迅速。
• 在2层GCNs中，失败概率表现出近似指数衰减，支持指数尾部假设的有效性。
• 一致估计器支持使用小样本量（例如400）进行训练，其性能可与最先进模型相媲美。
• 理论框架为使用有偏但一致梯度的训练算法（如成对损失的排序学习）提供了收敛保证。