[论文解读] Accelerating Stochastic Gradient Descent via Online Learning to Sample

Guillaume Bouchard, Théo Trouillon+2 more|arXiv (Cornell University)|Jun 30, 2015

Advanced Bandit Algorithms Research参考文献 20被引用 7

一句话总结

本文提出自适应加权随机梯度下降（AW-SGD），一种在线学习方法，通过自适应学习训练样本的最优采样分布来加速随机梯度下降（SGD）。通过实时最小化梯度方差，AW-SGD 在图像分类、矩阵分解和强化学习任务中均提升了收敛速度，且无需事先了解数据重要性。

ABSTRACT

Stochastic Gradient Descent (SGD) is one of the most widely used techniques for online optimization in machine learning. In this work, we accelerate SGD by adaptively learning how to sample the most useful training examples at each time step. First, we show that SGD can be used to learn the best possible sampling distribution of an importance sampling estimator. Second, we show that the sampling distribution of a SGD algorithm can be estimated online by incrementally minimizing the variance of the gradient. The resulting algorithm - called Adaptive Weighted SGD (AW-SGD) - maintains a set of parameters to optimize, as well as a set of parameters to sample learning examples. We show that AW-SGD yields faster convergence in three different applications: (i) image classification with deep features, where the sampling of images depends on their labels, (ii) matrix factorization, where rows and columns are not sampled uniformly, and (iii) reinforcement learning, where the optimized and explore policies are estimated at the same time.

研究动机与目标

• 通过为训练数据学习自适应采样策略来加速随机梯度下降（SGD）。
• 通过在线优化采样分布，最小化随机梯度的方差。
• 在无需事先了解数据重要性的情况下，实现在线学习场景中的更快收敛。
• 在一个统一的自适应框架中整合优化与采样过程。
• 在包括深度学习和强化学习在内的多样化应用中证明其有效性。

提出的方法

• AW-SGD 将采样分布视为可学习的参数集，并与模型参数并行优化。
• 它使用在线学习方法，逐步最小化随机梯度估计器的方差。
• 该算法维护两组参数：一组用于模型权重，另一组用于训练样本上的采样权重。
• 在每个时间步，根据梯度方差减少的目标更新采样分布。
• 该方法利用了 SGD 可用于学习最优重要性采样分布的事实。
• 该方法适用于数据重要性变化的监督学习和强化学习场景。

实验结果

研究问题

• RQ1 在线学习采样分布是否能加速在线优化中的 SGD 收敛？
• RQ2 基于梯度方差减少的自适应采样与均匀采样或固定重要性采样相比表现如何？
• RQ3 该框架是否可适用于图像分类和矩阵分解等多样化机器学习任务？
• RQ4 联合优化模型与采样参数是否比分别训练收敛更快？
• RQ5 AW-SGD 是否可在同时进行策略与价值函数估计的强化学习中有效应用？

主要发现

• 在使用深度特征的图像分类任务中，AW-SGD 通过基于标签信息量的自适应采样，实现了比标准 SGD 更快的收敛速度。
• 在矩阵分解中，AW-SGD 通过基于其对梯度方差贡献的非均匀采样行与列，提升了收敛性能。
• 在强化学习中，AW-SGD 通过自适应采样联合优化策略与探索策略，加速了学习过程。
• 该方法实时降低梯度方差，从而实现更稳定且更快的优化。
• AW-SGD 在所有三项评估应用中均优于基线方法，且无需事先了解数据重要性。
• 该算法在保持较低计算开销的同时，显著提升了收敛速度。