[论文解读] Foundations of data imbalance and solutions for a data democracy

Ajay Kulkarni, Deri Chong+1 more|arXiv (Cornell University)|Jul 30, 2021

Imbalanced Data Classification Techniques被引用 4

一句话总结

本文研究了机器学习中数据不平衡的根本原因，特别是其在加剧系统性偏见和破坏数据民主化方面的作用。论文提出了统计框架以量化类别不平衡与概念复杂性，基于真实汽车保险理赔数据集评估了数据级技术（如SMOTE和随机过采样），并证明SMOTE显著提升了少数类别的模型公平性与性能，推动了更公平的人工智能系统的发展。

ABSTRACT

Dealing with imbalanced data is a prevalent problem while performing classification on the datasets. Many times, this problem contributes to bias while making decisions or implementing policies. Thus, it is vital to understand the factors which cause imbalance in the data (or class imbalance). Such hidden biases and imbalances can lead to data tyranny and a major challenge to a data democracy. In this chapter, two essential statistical elements are resolved: the degree of class imbalance and the complexity of the concept; solving such issues helps in building the foundations of a data democracy. Furthermore, statistical measures which are appropriate in these scenarios are discussed and implemented on a real-life dataset (car insurance claims). In the end, popular data-level methods such as random oversampling, random undersampling, synthetic minority oversampling technique, Tomek link, and others are implemented in Python, and their performance is compared.

研究动机与目标

• 识别并分析机器学习数据集中数据不平衡的根本原因。
• 研究数据不平衡如何导致系统性偏见，并威胁数据民主化。
• 开发统计度量方法，以量化类别不平衡与概念复杂性。
• 评估并比较数据级技术（如SMOTE、随机过采样与欠采样）在缓解不平衡方面的有效性。
• 展示这些方法在真实世界汽车保险理赔数据集上的实际影响。

提出的方法

• 作者引入统计度量方法，以量化不平衡数据集中类别不平衡的程度以及底层概念的复杂性。
• 将这些度量方法应用于真实世界的汽车保险理赔数据集，以评估不平衡的严重程度与概念的复杂性。
• 本文实施并比较了多种数据级技术：随机过采样、随机欠采样、SMOTE与Tomek链接。
• 通过标准分类指标进行性能评估，重点关注少数类的F1得分与整体模型公平性。
• 研究使用基于Python的实现方法，在保险理赔数据集上确保可复现性与实证验证。
• 提出一种数据民主化框架，强调通过技术与统计严谨性实现公平的数据实践。

实验结果

研究问题

• RQ1 导致现实世界数据集中数据不平衡的主要统计与系统性因素是什么？
• RQ2 数据不平衡如何影响保险等高风险领域中的模型公平性与决策制定？
• RQ3 在SMOTE、随机过采样、欠采样与Tomek链接等数据级技术中，哪一种最有效地提升少数类的模型性能？
• RQ4 对不平衡与概念复杂性的统计度量在多大程度上可预测模型偏见与失败？
• RQ5 如何通过数据不平衡缓解措施推动实现数据民主化这一更广泛目标？

主要发现

• 在汽车保险理赔数据集中，SMOTE在提升少数类F1得分方面优于其他数据级技术。
• 研究证实，数据不平衡会显著降低模型在代表性不足类别上的性能，尤其在高风险应用场景中更为明显。
• 不平衡与概念复杂性的统计度量为理解数据集偏见与模型风险提供了切实可行的洞察。
• 随机过采样导致少数类过拟合，降低了模型的泛化性能。
• Tomek链接改善有限，主要有助于减少边界噪声，但未能解决核心不平衡问题。
• 将统计分析与数据增强技术相结合，为实现公平人工智能与数据民主化提供了可行路径。