[论文解读] Logistic Regression for Massive Data with Rare Events

Haiying Wang|arXiv (Cornell University)|Jun 1, 2020

Imbalanced Data Classification Techniques参考文献 11被引用 9

一句话总结

本文对大规模罕见事件数据的逻辑斯蒂回归进行了严格的渐近分析，表明估计效率取决于事件数量而非总样本量。研究证明，控制样本的欠采样可保持渐近效率，而事件样本的过采样可能降低效率，为不平衡数据设置下成本效益采样策略提供了理论依据。

ABSTRACT

This paper studies binary logistic regression for rare events data, or imbalanced data, where the number of events (observations in one class, often called cases) is significantly smaller than the number of nonevents (observations in the other class, often called controls). We first derive the asymptotic distribution of the maximum likelihood estimator (MLE) of the unknown parameter, which shows that the asymptotic variance convergences to zero in a rate of the inverse of the number of the events instead of the inverse of the full data sample size. This indicates that the available information in rare events data is at the scale of the number of events instead of the full data sample size. Furthermore, we prove that under-sampling a small proportion of the nonevents, the resulting under-sampled estimator may have identical asymptotic distribution to the full data MLE. This demonstrates the advantage of under-sampling nonevents for rare events data, because this procedure may significantly reduce the computation and/or data collection costs. Another common practice in analyzing rare events data is to over-sample (replicate) the events, which has a higher computational cost. We show that this procedure may even result in efficiency loss in terms of parameter estimation.

研究动机与目标

• 理解大规模罕见事件数据中的真实信息量，其中事件数量远小于非事件数量。
• 评估常见采样策略（如控制样本的欠采样和事件样本的过采样）对逻辑斯蒂回归中参数估计的统计影响。
• 在事件率衰减至零的条件下，建立估计量的渐近分布。
• 解决关于在罕见事件设置下采样是否导致信息损失或效率提升的反直觉问题。

提出的方法

• 在事件数和对照数随机增长、事件率衰减至零的条件下，推导最大似然估计量（MLE）的渐近分布。
• 表明 MLE 的收敛速度与事件数量成反比，而非与完整样本量成反比，说明信息受稀有事件数量限制。
• 证明欠采样估计量（仅使用少量对照）的渐近分布与完整数据 MLE 相同，意味着无效率损失。
• 分析过采样估计量（通过复制事件）并表明其渐近方差可能大于完整数据 MLE，意味着效率损失。
• 利用林德伯格-弗勒利定理和矩界，在弱矩条件下建立渐近正态性。
• 采用扰动方法，使用随机泊松分布的对照数来建模非事件的随机增长，并推导收敛速率。

实验结果

研究问题

• RQ1 罕见事件数据中的信息量是否随完整样本量增长，还是仅随事件数量增长？
• RQ2 在罕见事件的逻辑斯蒂回归中，控制样本的欠采样是否能保持完整数据 MLE 的渐近效率？
• RQ3 与完整数据 MLE 相比，事件样本的过采样是否导致估计效率损失？
• RQ4 当事件率衰减至零时，MLE 的正确收敛速率是什么？
• RQ5 在何种条件下，欠采样和过采样估计量的渐近分布与完整数据 MLE 相同或不同？

主要发现

• MLE 的渐近方差以与事件数量成反比的速率收敛至零，而非与完整样本量成反比，表明信息受稀有事件数量限制。
• 控制样本的欠采样得到的估计量与完整数据 MLE 具有相同的渐近分布，意味着无效率损失。
• 事件样本的过采样导致估计量的渐近方差大于完整数据 MLE，表明估计效率损失。
• 即使完整数据量极大，MLE 的收敛速率仍由事件数量决定，而非总样本量。
• 理论框架允许病例和对照随机增长，且事件率衰减至零，为极端不平衡情况提供了更现实的建模。
• 研究结果为在罕见事件逻辑斯蒂回归中使用欠采样作为计算高效且不牺牲统计效率的策略提供了理论支持。