[论文解读] Inefficiency of Data Augmentation for Large Sample Imbalanced Data.

James E. Johndrow, Aaron Smith+2 more|arXiv (Cornell University)|May 19, 2016

Bayesian Methods and Mixture Models参考文献 43被引用 6

一句话总结

本文表明，在大样本、类别不平衡的分类数据设置下，数据增强Gibbs采样表现出极差的混合性能，其谱间隙衰减速率与样本量的平方根成正比或更快。相比之下，非增强算法表现出快速混合，揭示了标准数据增强在此类情形下的根本性低效性。

ABSTRACT

Many modern applications collect large sample size and highly imbalanced categorical data, with some categories being relatively rare. Bayesian hierarchical models are well motivated in such settings in providing an approach to borrow information to combat data sparsity, while quantifying uncertainty in estimation. However, a fundamental problem is scaling up posterior computation to massive sample sizes. In categorical data models, posterior computation commonly relies on data augmentation Gibbs sampling. In this article, we study computational efficiency of such algorithms in a large sample imbalanced regime, showing that mixing is extremely poor, with a spectral gap that converges to zero at a rate proportional to the square root of sample size or faster. This theoretical result is verified with empirical performance in simulations and an application to a computational advertising data set. In contrast, algorithms that bypass data augmentation show rapid mixing on the same dataset.

研究动机与目标

• 研究在大样本、类别不平衡的分类数据设置下，数据增强Gibbs采样的计算效率。
• 识别此类数据设置下后验计算中混合性能差的根本原因。
• 在真实数据和模拟数据中，比较基于数据增强的算法与非增强替代方法的混合行为。
• 为贝叶斯层次模型在不平衡数据中的数据增强扩展性限制，提供理论与实证证据。

提出的方法

• 对大样本、类别不平衡分类模型中数据增强Gibbs采样器的谱间隙进行理论分析。
• 推导谱间隙的收敛速率，表明随着样本量n增加，其衰减速率与√n成正比或更快。
• 在受控的类别不平衡数据设置下，通过模拟进行实证验证。
• 将该方法应用于具有极端类别不平衡的真实计算广告数据集。
• 在相同数据上，比较数据增强Gibbs采样器与非增强MCMC算法的混合性能。

实验结果

研究问题

• RQ1 在类别不平衡的分类数据中，随着样本量增加，数据增强Gibbs采样器的混合时间如何变化？
• RQ2 在此类设置下，数据增强的谱间隙衰减速率的理论速率是多少？
• RQ3 非增强MCMC算法在相同数据集上的混合性能如何？
• RQ4 数据增强的低效性是否在真实世界的大规模、类别不平衡数据应用中依然存在？

主要发现

• 数据增强Gibbs采样器的谱间隙以与样本量平方根成正比或更快的速率衰减至零，表明其混合性能极差。
• 模拟结果证实，随着样本量增加，混合时间显著延长，与理论衰减速率一致。
• 在一个具有极端类别不平衡的真实计算广告数据集中，数据增强Gibbs采样器表现出极慢的收敛速度。
• 非增强MCMC算法在相同数据集上展现出快速混合，无论在理论上还是实践中均优于数据增强方法。