[论文解读] Local case-control sampling: Efficient subsampling in imbalanced data sets

William Fithian, Trevor Hastie|Jun 16, 2013

Imbalanced Data Classification Techniques被引用 8

一句话总结

本文提出局部病例对照抽样（local case-control sampling），一种用于处理不平衡逻辑回归数据的子采样方法，通过利用初步估计值优先选择条件上稀有的病例，从而提高效率。该方法基于预测概率采用接受-拒绝抽样方案，通过解析校正方法消除偏差，并在模型设定正确的情况下，即使子样本极小，其渐近效率也仅比完整样本最大似然估计（MLE）低约两倍以内。

ABSTRACT

For classification problems with significant class imbalance, subsampling can reduce computational costs at the price of inflated variance in estimating model parameters. We propose a method for subsampling efficiently for logistic regression by adjusting the class balance locally in feature space via an accept-reject scheme. Our method generalizes standard case-control sampling, using a pilot estimate to preferentially select examples whose responses are conditionally rare given their features. The biased subsampling is corrected by a post-hoc analytic adjustment to the parameters. The method is simple and requires one parallelizable scan over the full data set. Standard case-control sampling is inconsistent under model misspecification for the population risk-minimizing coefficients $θ^*$. By contrast, our estimator is consistent for $θ^*$ provided that the pilot estimate is. Moreover, under correct specification and with a consistent, independent pilot estimate, our estimator has exactly twice the asymptotic variance of the full-sample MLE - even if the selected subsample comprises a miniscule fraction of the full data set, as happens when the original data are severely imbalanced. The factor of two improves to $1+\frac{1}{c}$ if we multiply the baseline acceptance probabilities by $c>1$ (and weight points with acceptance probability greater than 1), taking roughly $\frac{1+c}{2}$ times as many data points into the subsample. Experiments on simulated and real data show that our method can substantially outperform standard case-control subsampling.

研究动机与目标

• 通过减少数据规模来解决大规模不平衡数据集中的计算低效问题，同时不牺牲统计效率。
• 克服标准病例对照抽样方法的局限性，后者未能考虑特征空间中的条件不平衡问题。
• 开发一种子采样策略，在显著降低计算成本的同时保持统计效率。
• 确保在模型设定错误时，所得估计量对总体风险最小化系数的一致性与渐近效率。
• 提供一种实用且可并行化的实现方法，仅需对完整数据集扫描一次即可完成。

提出的方法

• 利用逻辑回归参数的初步估计值（α̃, β̃）评估每个数据点在给定其特征下响应变量的条件稀有性。
• 应用接受-拒绝抽样方案，其中基于初步估计值判断Y在给定X下为条件稀有的数据点更可能被选中。
• 通过解析校正方法调整子样本偏差，确保对总体参数θ*的一致性。
• 通过乘以因子c > 1调整接受概率，以控制子样本规模，并对接受概率大于1的样本点采用相应的加权方案。
• 通过仅需对完整数据集进行一次可并行化的扫描，确保方法的计算高效性。
• 利用信息矩阵（Hessian）与得分函数推导渐近方差性质，证明在模型设定正确时，该估计量的渐近方差恰好为完整样本MLE的两倍。

实验结果

研究问题

• RQ1 我们能否通过考虑局部条件稀有性而非仅边际类别不平衡，来提升不平衡逻辑回归中的子采样效率？
• RQ2 在模型设定错误时，局部病例对照抽样是否能对总体风险最小化系数θ*产生一致估计量？
• RQ3 所提估计量的渐近方差与完整样本MLE相比如何？其随子样本规模的变化趋势如何？
• RQ4 当子样本仅占原始数据极小比例时，该方法是否仍能保持高统计效率？
• RQ5 在真实数据与模拟数据上，该方法与标准病例对照抽样相比，在偏差、方差与计算成本方面表现如何？

主要发现

• 只要初步估计值是一致的，所提估计量对θ*即为一致的，即使在模型设定错误时亦成立。
• 在模型设定正确且初步估计值一致且独立的前提下，该估计量的渐近方差恰好为完整样本MLE的两倍。
• 当接受概率乘以c > 1时，渐近方差改善为完整样本MLE的(1 + 1/c)倍，且子样本规模按(1 + c)/2倍于原始规模的比例缩放。
• 该方法实现了接近最优的统计效率：即使子样本仅占原始数据的1%，估计量仍能保持高精度。
• 在模拟与真实数据上的实验表明，该方法在估计精度与方差缩减方面显著优于标准病例对照抽样。
• 该方法计算高效，仅需对完整数据集进行一次可并行化的扫描，因此可扩展至大规模数据。