[论文解读] Box Drawings for Learning with Imbalanced Data

Siong Thye Goh, Cynthia Rudin|arXiv (Cornell University)|Mar 13, 2014

Imbalanced Data Classification Techniques参考文献 15被引用 5

一句话总结

本文提出了两种可解释的机器学习方法——Exact Boxes 和 Fast Boxes——用于处理高度不平衡的分类问题。通过在正样本周围使用轴对齐矩形（盒子）的析取式组合，Exact Boxes 采用混合整数规划（MIP）来优化加权准确率并引入正则化，而 Fast Boxes 则采用‘表征后区分’的方法以实现可扩展性，在高不平衡比率下仍能获得性能优异且人类可读的规则。

ABSTRACT

The vast majority of real world classification problems are imbalanced, meaning there are far fewer data from the class of interest (the positive class) than from other classes. We propose two machine learning algorithms to handle highly imbalanced classification problems. The classifiers constructed by both methods are created as unions of parallel axis rectangles around the positive examples, and thus have the benefit of being interpretable. The first algorithm uses mixed integer programming to optimize a weighted balance between positive and negative class accuracies. Regularization is introduced to improve generalization performance. The second method uses an approximation in order to assist with scalability. Specifically, it follows a extit{characterize then discriminate} approach, where the positive class is characterized first by boxes, and then each box boundary becomes a separate discriminative classifier. This method has the computational advantages that it can be easily parallelized, and considers only the relevant regions of feature space.

研究动机与目标

• 开发适用于现实世界高度不平衡数据集的可解释分类模型，其中正类（少数类）被严重低估。
• 解决标准分类器因类别不平衡而默认预测多数类所导致的失败问题。
• 通过以正样本为中心的轴对齐矩形（盒子）的并集，构建既准确又可解释的模型。
• 通过两阶段‘表征后区分’方法，提供一种精确优化的可扩展替代方案。
• 为画框分类器建立理论泛化边界，并改进混合整数规划公式的实用性。

提出的方法

• Exact Boxes 使用混合整数规划（MIP）联合优化正负类准确率，采用加权目标函数，并引入正则化以偏好更少、更大的盒子。
• MIP 公式将每个盒子视为特征边界约束的合取式，整体分类器为这些盒子的析取式组合，从而确保可解释性。
• Fast Boxes 采用两阶段方法：首先通过聚类和定义边界框来表征正类；其次独立学习每个聚类的判别边界。
• Fast Boxes 中每个判别边界通过闭式解析解计算，支持并行化，计算成本低于贪心方法（如决策树）。
• 该方法将学习限制在正样本聚类周围的局部区域，显著减少了每个分类器所考虑的数据点数量。
• 利用 Hoeffding 不等式和并集界推导泛化边界，通过统计可能的盒子配置数量，建立统一的风险边界。

实验结果

研究问题

• RQ1 可解释的画框分类器是否能在高度不平衡的数据集上实现与最先进方法相当的性能？
• RQ2 Fast Boxes 中的‘表征后区分’方法是否在保持高准确率的同时实现可扩展性和并行化？
• RQ3 Exact Boxes 中的正则化如何在小到中等规模数据集上提升泛化能力并防止过拟合？
• RQ4 对于固定数量盒子的画框分类器，其理论泛化性能保证是什么？
• RQ5 能否通过聚类或基于邻域的热启动方法，使基于 MIP 的优化在更大数据集上变得实用？

主要发现

• 随着数据不平衡程度的增加，画框分类器的性能持续提升，优于在不平衡数据上失效的标准方法。
• 尽管受到可解释性约束，Fast Boxes 在同类方法中仍达到顶尖性能，表明简洁性并不以牺牲准确率为代价。
• Exact Boxes 虽计算成本较高，但作为黄金标准，在相同数据集上始终优于 Fast Boxes，证实了精确优化的价值。
• 理论泛化边界对最多包含 K 个盒子的所有画框分类器均成立，为模型性能提供了概率置信度。
• Fast Boxes 方法因局部、解析式边界计算与并行化而具备高度可扩展性，适用于高不平衡的大规模数据集。
• 通过自然阈值规则（如‘镁指数 > 3.33’）增强了模型的可解释性，使领域专家能够轻松理解。