[论文解读] Addressing Fairness, Bias and Class Imbalance in Machine Learning: the FBI-loss

Elisa Ferrari, Davide Bacciu|arXiv (Cornell University)|May 13, 2021

Imbalanced Data Classification Techniques被引用 5

一句话总结

本文提出FBI-loss，一种统一的、成本校正的损失函数，通过将公平性、混淆偏差和类别不平衡视为潜在不平衡的不同表现形式，实现对三者的统一处理。该方法仅依赖一个与任务复杂度相关的超参数，在无需专用架构或复杂训练流程的情况下，实现了在三类问题上的竞争力表现。

ABSTRACT

Resilience to class imbalance and confounding biases, together with the assurance of fairness guarantees are highly desirable properties of autonomous decision-making systems with real-life impact. Many different targeted solutions have been proposed to address separately these three problems, however a unifying perspective seems to be missing. With this work, we provide a general formalization, showing that they are different expressions of unbalance. Following this intuition, we formulate a unified loss correction to address issues related to Fairness, Biases and Imbalances (FBI-loss). The correction capabilities of the proposed approach are assessed on three real-world benchmarks, each associated to one of the issues under consideration, and on a family of synthetic data in order to better investigate the effectiveness of our loss on tasks with different complexities. The empirical results highlight that the flexible formulation of the FBI-loss leads also to competitive performances with respect to literature solutions specialised for the single problems.

研究动机与目标

• 将机器学习中的类别不平衡、混淆偏差和不公平性统一为不平衡的不同表现形式。
• 开发一种单一的、通用的损失函数，同时纠正上述三类问题。
• 与现有专用方法相比，确保计算效率和超参数调优的简便性。
• 在真实世界基准和合成数据上评估FBI-loss，以证明其鲁棒性和竞争力。
• 探究通用损失是否能在不显式施加公平性约束的情况下，间接实现公平性。

提出的方法

• 将类别不平衡、混淆偏差和不公平性形式化为训练分布中不平衡的不同表达形式。
• 借鉴Focal Loss的原理，构建一种成本校正损失，对容易的、过采样的样本进行降权，对困难的、欠采样的样本进行升权。
• 引入一个单一超参数，根据任务复杂度缩放损失，实现简便调优。
• 设计FBI-loss为模型无关，适用于任何分类器和数据模态。
• 使用标准神经网络层和训练流程实现FBI-loss，避免使用对抗网络或变分自编码器等复杂组件。
• 将FBI-loss应用于二分类任务，并在真实世界数据集和具有可控不平衡的合成数据上评估其性能。

实验结果

研究问题

• RQ1 类别不平衡、混淆偏差和不公平性能否在单一概念框架下被正式统一？
• RQ2 单一的、通用的损失函数是否能优于或匹配针对每个具体问题设计的专用方法？
• RQ3 FBI-loss是否能在保持计算效率和简洁性的同时，实现具有竞争力的性能？
• RQ4 FBI-loss是否能在未显式施加公平性约束的情况下，间接提升公平性？
• RQ5 FBI-loss在真实世界和合成基准中不同不平衡水平下的表现如何？

主要发现

• 在真实世界基准上，FBI-loss在类别不平衡、混淆偏差和不公平分类三类问题上均表现出稳定且具有竞争力的性能。
• 在类别不平衡基准上，FBI-loss在过采样和欠采样群体中均表现出最稳定的性能，优于其他易出现过矫正问题的校正方法。
• 在混淆偏差基准上，尽管仅需一个超参数且无需辅助模型，FBI-loss的性能仍与IFR-VAE和BR-NN等复杂方法相当或更优。
• 在不公平分类基准上，FBI-loss实现的公平性水平与PEO-Loss和LFO相当，且在过采样群体中表现出更优的稳定性。
• 尽管FBI-loss并非专为公平性设计，但其将受保护群体与非受保护群体的FPR和FNR差异降低至与专门公平性方法相当的水平。
• 由于采用单一超参数设计且无辅助训练组件，FBI-loss的计算效率比IFR-VAE和LFO等方法高出2至10倍。