[论文解读] Active Mini-Batch Sampling using Repulsive Point Processes

Cheng Zhang, Cengiz Öztireli+2 more|arXiv (Cornell University)|Apr 8, 2018

3D Shape Modeling and Analysis参考文献 19被引用 9

一句话总结

本文提出了一种基于排斥点过程的主动小批量采样方法，以减少随机梯度下降（SGD）中的梯度方差并加速收敛。通过采用计算成本更低的泊松盘采样（Poisson Disk Sampling）替代计算量大的确定性点过程（DPPs），该方法在视觉和语音任务中实现了更快的训练速度和更优的模型性能，且无需增加推理成本。

ABSTRACT

The convergence speed of stochastic gradient descent (SGD) can be improved by actively selecting mini-batches. We explore sampling schemes where similar data points are less likely to be selected in the same mini-batch. In particular, we prove that such repulsive sampling schemes lowers the variance of the gradient estimator. This generalizes recent work on using Determinantal Point Processes (DPPs) for mini-batch diversification (Zhang et al., 2017) to the broader class of repulsive point processes. We first show that the phenomenon of variance reduction by diversified sampling generalizes in particular to non-stationary point processes. We then show that other point processes may be computationally much more efficient than DPPs. In particular, we propose and investigate Poisson Disk sampling---frequently encountered in the computer graphics community---for this task. We show empirically that our approach improves over standard SGD both in terms of convergence speed as well as final model performance.

研究动机与目标

• 通过利用排斥点过程主动多样化小批量样本，以减少SGD中的随机梯度方差。
• 将方法从基于DPP的采样推广至更广泛的排斥过程类别，支持自适应密度与相关性结构。
• 开发计算高效的采样方法，使其在实际应用中优于DPP，尤其适用于大规模学习场景。
• 通过基于特征相似性和不确定性的主动数据采样偏差，提升收敛速度与最终模型性能。
• 通过优先选择多样且信息丰富的样本，特别是靠近决策边界的样本，实现高效可扩展的训练，从而改善泛化能力。

提出的方法

• 该框架利用排斥点过程建模小批量选择过程，使得相似样本更难同时被选中，从而降低梯度方差。
• 将基于DPP的采样推广至非平稳与自适应点过程，支持动态调整密度与相关性。
• 提出使用投掷飞镖法的泊松盘采样（PDS）作为DPP的计算高效替代方案，将采样复杂度从O(Nk³)降低至O(k²)。
• 在PDS中引入自适应的圆盘大小与密度，以实现主动偏差，例如优先选择困难或罕见样本。
• 通过基于输入空间特征的排斥过程采样替代标准SGD中的随机小批量选择。
• 采用退火调度策略模拟自 paced 学习，逐步增强对更难或更不常见样本的关注。

实验结果

研究问题

• RQ1 排斥点过程能否有效降低小批量SGD中随机梯度估计器的方差？
• RQ2 使用非DPP的排斥过程（如泊松盘采样）是否能在显著降低计算成本的同时，实现相当或更优的性能？
• RQ3 点过程中自适应的密度与相关性结构是否能提升模型的泛化能力与收敛速度？
• RQ4 基于特征多样性的主动小批量采样，在最终准确率与训练速度方面，相较于标准SGD及已有主动偏差方法表现如何？
• RQ5 在采样过程中引入不确定性或难度度量（如混合指数）在多大程度上提升了方法性能？

主要发现

• 泊松盘采样将采样成本从DPP的O(Nk³)降低至O(k²)，实现了可扩展且高效的批量采样。
• 所有PDS变体（Vanilla、Easy、Dense、Anneal）在MNIST和语音命令识别任务中，均优于标准SGD，表现出更快的收敛速度与更高的最终测试准确率。
• 在MNIST上，Anneal PDS通过自适应采样模拟自 paced 学习，实现了最快的早期收敛与最佳最终性能。
• 在更复杂的语音数据集上，由于数据分布更不规则、聚类性更弱，PDS方法的性能增益显著高于MNIST，表明其在挑战性、非均匀数据分布中优势更明显。
• Dense PDS与Anneal PDS通过优先选择非平凡、难分类样本，实现主动偏差，从而优化决策边界。
• 该方法在不增加额外计算成本的前提下提升了模型性能，证明通过多样化采样实现的方差减少，可同时改善训练动态与泛化能力。