[论文解读] Stochastic Learning on Imbalanced Data: Determinantal Point Processes for Mini-batch Diversification.

Cheng Zhang, Hedvig Kjellström+1 more|arXiv (Cornell University)|May 1, 2017

Markov Chains and Monte Carlo Methods被引用 11

一句话总结

本文提出平衡小批量随机梯度下降（BM-SGD），一种基于行列式点过程（DPPs）的非均匀小批量采样方法，旨在减少随机梯度下降中的冗余并提升数据多样性。通过利用数据点之间的相似性度量，BM-SGD 降低梯度方差，实现更好的泛化性能，在无监督特征多样性与有监督分类准确率方面均优于标准 SGD 和分层采样。

ABSTRACT

We study a mini-batch diversification scheme for stochastic gradient descent (SGD). While classical SGD relies on uniformly sampling data points to form a mini-batch, we propose a non-uniform sampling scheme based on the Determinantal Point Process (DPP). The DPP relies on a similarity measure between data points and gives low probabilities to mini-batches which contain redundant data, and higher probabilities to mini-batches with more diverse data. This simultaneously balances the data and leads to stochastic gradients with lower variance. We term this approach Balanced Mini-batch SGD (BM-SGD). We show that regular SGD and stratified sampling emerge as special cases. Furthermore, BM-SGD can be considered a generalization of stratified sampling to cases where no discrete features exist to bin the data into groups. We show experimentally that our method results more interpretable and diverse features in unsupervised setups, and in better classification accuracies in supervised setups.

研究动机与目标

• 解决在数据不平衡数据集上进行随机梯度下降（SGD）时小批量采样中的数据冗余问题。
• 通过非均匀采样促进小批量中的多样性，以降低梯度方差。
• 将分层采样推广至无离散分组特征的场景。
• 提升无监督学习中的特征可解释性，以及有监督学习中的分类准确率。

提出的方法

• 该方法采用行列式点过程（DPP）对小批量的概率分布进行建模。
• DPP 根据数据点之间学习到的或预定义的相似性度量，为冗余的小批量分配较低概率，为多样化的样本分配较高概率。
• 采样方案旨在平衡数据分布并降低随机梯度中的方差。
• 该方法将经典 SGD（均匀采样）和分层采样（当存在离散分组时）作为特例进行推广。
• 通过优化 DPP 似然函数实现该方法，以在保持代表性的同时促进多样性。
• 该框架与标准深度学习流水线兼容，可无缝集成到现有的基于 SGD 的训练工作流中。

实验结果

研究问题

• RQ1 基于 DPP 的非均匀采样能否在数据不平衡的小批量 SGD 中降低梯度方差？
• RQ2 BM-SGD 在模型准确率和特征多样性方面与经典 SGD 及分层采样相比表现如何？
• RQ3 当缺乏可用于分组的离散特征时，基于 DPP 的采样在多大程度上能推广分层采样？
• RQ4 BM-SGD 是否能带来在无监督表示学习中更具可解释性和多样性的特征？
• RQ5 BM-SGD 是否能提升在数据不平衡设置下的有监督学习分类性能？

主要发现

• 与经典 SGD 相比，BM-SGD 通过减少小批量中的冗余，实现了更低的梯度方差。
• 在无监督学习设置中，该方法通过特征分散度和多样性度量指标，产生了更具多样性和可解释性的特征。
• BM-SGD 在有监督学习任务中提升了分类准确率，尤其在数据不平衡的数据集上表现更优。
• 该方法推广了分层采样，在无离散分组特征时表现相当或更优。
• 在多个基准数据集上，BM-SGD 在特征多样性和预测性能方面均优于标准 SGD 和分层采样。