[论文解读] Leveling Down in Computer Vision: Pareto Inefficiencies in Fair Deep Classifiers

Dominik Zietlow, Michael Lohaus+5 more|arXiv (Cornell University)|Mar 9, 2022

Ethics and Social Impacts of AI被引用 7

一句话总结

本文指出，计算机视觉中的公平性方法通常会降低所有群体的性能，尤其是表现较好的群体，导致模型处于帕累托无效状态。本文提出通过 g-SMOTE 实现自适应数据增强，可在不损害整体性能的前提下提升最弱势群体的准确率，展示了一种通过改善泛化能力而非降低性能来增强公平性的解决方案。

ABSTRACT

Algorithmic fairness is frequently motivated in terms of a trade-off in which overall performance is decreased so as to improve performance on disadvantaged groups where the algorithm would otherwise be less accurate. Contrary to this, we find that applying existing fairness approaches to computer vision improve fairness by degrading the performance of classifiers across all groups (with increased degradation on the best performing groups). Extending the bias-variance decomposition for classification to fairness, we theoretically explain why the majority of fairness classifiers designed for low capacity models should not be used in settings involving high-capacity models, a scenario common to computer vision. We corroborate this analysis with extensive experimental support that shows that many of the fairness heuristics used in computer vision also degrade performance on the most disadvantaged groups. Building on these insights, we propose an adaptive augmentation strategy that, uniquely, of all methods tested, improves performance for the disadvantaged groups.

研究动机与目标

• 调查为何计算机视觉中的公平性方法通常会降低所有群体（包括最弱势群体）的性能。
• 挑战在高容量模型中常见的公平性-准确率权衡假设，该假设在计算机视觉中普遍存在。
• 提出一种通过提升泛化能力而非降低性能来改善公平性的方法。
• 证明数据增强可用于提升最差群体准确率，而不会损害公平性指标。

提出的方法

• 作者将偏差-方差分解扩展至公平性领域，识别出在高容量设置下公平性方法失效的理论条件。
• 引入基于生成对抗网络的自适应数据增强方法（g-SMOTE），生成针对表现欠佳群体的合成样本。
• 该方法动态提升最差表现群体的数据多样性，从而改善泛化能力并降低错误率。
• 使用差异相等机会（DEO）和最差群体准确率评估公平性，并在多种增强策略下比较模型表现。
• 将 g-SMOTE 与标准增强方法（如随机裁剪、RandAugment）结合，评估性能的正交增益。
• 提出两阶段评估协议：先评估最差群体错误率，并迭代收集最差表现群体的数据，以最小化最坏情况下的错误率。

实验结果

研究问题

• RQ1 为何计算机视觉中的公平性方法通常会降低所有群体（包括最弱势群体）的性能？
• RQ2 在高容量深度学习中，公平性约束在何种条件下会导致帕累托低效模型？
• RQ3 能否通过数据增强在不降低整体性能或恶化表现较好群体准确率的情况下提升公平性？
• RQ4 与标准增强方法相比，自适应数据生成在提升最差群体准确率方面表现如何？
• RQ5 在评估高容量模型的公平性时，应优先考虑哪些指标，以避免掩盖性能下降？

主要发现

• 计算机视觉中的许多公平性方法会降低所有群体的准确率，包括最弱势群体，导致帕累托低效。
• 在 CelebA 数据集上，公平性正则化模型在所有群体中准确率均下降，即使最差表现群体也是如此，尽管 DEO 等公平性指标有所改善。
• 所提出的 g-SMOTE 增强方法在多个增强基线中，将最差群体准确率提升了最高达 0.48 个百分点（从 89.15% 提升至 89.63%）。
• 当与标准增强方法结合时，g-SMOTE 提供了正交增益，使准确率提升 0.18 至 0.58 个百分点。
• 该方法在不降低表现较好群体性能的前提下，实现了更低的 DEO（更优公平性）和更高的最差群体准确率。
• 研究证实，未见数据上的公平性本质上是泛化问题，而有针对性的数据收集可显著提升最差群体的表现。