[论文解读] Determinantal Point Processes for Mini-Batch Diversification

Cheng Zhang, Hedvig Kjellström+1 more|arXiv (Cornell University)|May 1, 2017

Stochastic Gradient Optimization Techniques参考文献 41被引用 13

一句话总结

本文提出确定性小批量随机梯度下降（DM-SGD），一种基于行列式点过程（DPPs）的非均匀小批量采样方法，旨在提升训练多样性并降低梯度方差。通过利用数据点之间的相似性核函数，DM-SGD偏好多样化的训练小批量，在收敛速度和分类准确率方面优于均匀采样，尤其在数据不平衡的数据集上表现更优。

ABSTRACT

We study a mini-batch diversification scheme for stochastic gradient descent (SGD). While classical SGD relies on uniformly sampling data points to form a mini-batch, we propose a non-uniform sampling scheme based on the Determinantal Point Process (DPP). The DPP relies on a similarity measure between data points and gives low probabilities to mini-batches which contain redundant data, and higher probabilities to mini-batches with more diverse data. This simultaneously balances the data and leads to stochastic gradients with lower variance. We term this approach Diversified Mini-Batch SGD (DM-SGD). We show that regular SGD and a biased version of stratified sampling emerge as special cases. Furthermore, DM-SGD generalizes stratified sampling to cases where no discrete features exist to bin the data into groups. We show experimentally that our method results more interpretable and diverse features in unsupervised setups, and in better classification accuracies in supervised setups.

研究动机与目标

• 通过提升小批量多样性来缓解随机梯度下降中的数据不平衡问题。
• 通过基于数据相似性的非均匀采样降低随机梯度方差。
• 将分层采样推广至无离散特征或预定义类别的场景。
• 实现可复用的、预先计算的多样化小批量，适用于多种学习任务。

提出的方法

• 使用行列式点过程（DPP）采样小批量，以降低冗余概率。
• 构建相似性核函数 $ L = FF^T $，其中 $ F = [(1-w)X_{fc1} \quad wH] $，结合深度特征与类别标签。
• 采用加权线性核函数，通过超参数 $ w $ 平衡类内与类间多样性。
• 推导出DM-SGD降低梯度方差的条件，确保更快收敛。
• 当 $ w=0 $ 和 $ w=1 $ 时，分别退化为独立同分布采样和有偏分层采样，验证其理论泛化性。
• 预先计算与学习目标无关的多样化小批量，实现跨模型复用。

实验结果

研究问题

• RQ1 基于DPP的采样是否能在无需离散类别的前提下降低随机优化中的梯度方差？
• RQ2 DM-SGD在收敛性和准确率方面与标准SGD及分层采样相比表现如何？
• RQ3 小批量多样性在多大程度上提升了无监督模型中特征的可解释性？
• RQ4 DM-SGD能否将分层采样推广至连续或非离散数据结构？
• RQ5 尽管采样过程引入偏差，DM-SGD是否仍能保持收敛性保证？

主要发现

• 在监督学习中，DM-SGD相较于随机采样实现了更快的收敛速度和更高的测试准确率，尤其在小批量尺寸较小时表现更优。
• 在CIFAR-10数据集上，当 $ w=0.9 $ 和 $ w=0.7 $ 时，DM-SGD的分类性能优于基线随机采样。
• 在主题建模任务中，DM-SGD生成的文档特征比独立同分布采样更具可解释性和判别性。
• 即使在平衡的MNIST数据集上，DM-SGD也因梯度方差降低而优于随机采样，体现出其鲁棒性。
• 当 $ w=1 $ 时，DM-SGD退化为有偏分层采样，验证了其理论泛化能力。
• 该方法根据核函数超参数 $ w $ 的取值，可统一涵盖独立同分布采样与分层采样作为特例。