[论文解读] Accelerating Minibatch Stochastic Gradient Descent using Typicality Sampling

Xinyu Peng, Li Li+1 more|arXiv (Cornell University)|Mar 11, 2019

Stochastic Gradient Optimization Techniques参考文献 34被引用 7

一句话总结

本文提出典型性采样以通过在批量选择期间优先选择高代表性（典型）训练样本，加速小批量随机梯度下降（SGD），从而降低梯度估计误差并实现线性收敛——在理论假设下，其速度显著快于标准小批量SGD。该方法采用基于密度的采样和t-SNE嵌入实现高效计算，在合成数据集和真实数据集上均得到验证。

ABSTRACT

Machine learning, especially deep neural networks, has been rapidly developed in fields including computer vision, speech recognition and reinforcement learning. Although Mini-batch SGD is one of the most popular stochastic optimization methods in training deep networks, it shows a slow convergence rate due to the large noise in gradient approximation. In this paper, we attempt to remedy this problem by building more efficient batch selection method based on typicality sampling, which reduces the error of gradient estimation in conventional Minibatch SGD. We analyze the convergence rate of the resulting typical batch SGD algorithm and compare convergence properties between Minibatch SGD and the algorithm. Experimental results demonstrate that our batch selection scheme works well and more complex Minibatch SGD variants can benefit from the proposed batch selection strategy.

研究动机与目标

• 解决由于简单随机采样导致的小批量SGD收敛缓慢的问题，其根源在于梯度估计方差过高。
• 通过在每个批次中选择更具信息量的训练样本，提升深度学习中的优化效率。
• 理论上和实证上证明，优先选择典型样本可实现更快的收敛速率。
• 开发一种实用且可扩展的批量选择方法，利用密度估计和t-SNE实现真实场景下的部署。
• 表明现有SGD变体在不修改更新规则的前提下，也能从所提出的采样策略中获益。

提出的方法

• 提出一种基于典型性的非均匀批量选择策略，根据样本在数据分布中的代表性程度进行优先排序。
• 通过局部密度和空间邻近性定义典型性，偏好位于高密度区域的样本作为更具代表性的样本。
• 利用t-SNE降维技术近似数据的底层流形，从而高效计算样本的典型性。
• 制定与典型性成比例的采样概率，与简单随机采样相比，可降低梯度估计器的方差。
• 理论分析表明，在标准假设下，所提出的典型批量SGD可实现线性收敛，优于标准小批量SGD。
• 通过在线密度估计实现该方法，避免在每次迭代中重新计算典型性，从而确保计算效率。

实验结果

研究问题

• RQ1 基于数据典型性的非均匀批量采样能否降低小批量SGD中的梯度估计方差？
• RQ2 与简单随机采样相比，基于典型性的采样是否能在小批量SGD中实现更快的收敛速度？
• RQ3 所提出的方法能否在实践中高效实现，且不会带来过高的计算开销？
• RQ4 在理论假设下，典型批量SGD的收敛速率与标准小批量SGD相比如何？
• RQ5 现有SGD变体在集成所提出的批量选择策略时，其收益程度如何？

主要发现

• 理论分析证明，在标准假设下，典型批量SGD可实现线性收敛，其收敛速度显著快于标准小批量SGD。
• 通过优先选择高典型性样本，梯度估计误差得以降低，因为这些样本更能代表整体数据分布。
• 在合成数据集和真实数据集上的实证结果表明，收敛速度持续提升，尤其在训练初期阶段更为明显。
• 该方法在不同模型架构和损失函数下均表现出鲁棒性，显著提升了训练速度和最终准确率。
• 通过t-SNE和密度估计实现的实用化方案，使批量选择高效进行，计算开销极低。
• 当数据分布非均匀时，收敛速度的提升最为显著，此时典型性采样能有效避免来自异常值或低密度区域的噪声梯度。