[论文解读] Directional Bias Amplification

Angelina Wang, Olga Russakovsky|arXiv (Cornell University)|Feb 24, 2021

Adversarial Robustness in Machine Learning参考文献 61被引用 20

一句话总结

本文提出了方向性偏差放大度量（BiasAmp→），这是一种新型度量方法，可将偏差放大分解为独立的方向性流动——A→T 和 T→A，解决了以往度量方法将这些路径混淆的局限性。该方法通过考虑基率并支持针对性干预，改进了公平性评估。实证结果表明，模型可能表现出较低的偏差放大，但仍存在较高的公平性差异，尤其在风险预测场景中。

ABSTRACT

Mitigating bias in machine learning systems requires refining our understanding of bias propagation pathways: from societal structures to large-scale data to trained models to impact on society. In this work, we focus on one aspect of the problem, namely bias amplification: the tendency of models to amplify the biases present in the data they are trained on. A metric for measuring bias amplification was introduced in the seminal work by Zhao et al. (2017); however, as we demonstrate, this metric suffers from a number of shortcomings including conflating different types of bias amplification and failing to account for varying base rates of protected attributes. We introduce and analyze a new, decoupled metric for measuring bias amplification, $ ext{BiasAmp}_{ ightarrow}$ (Directional Bias Amplification). We thoroughly analyze and discuss both the technical assumptions and normative implications of this metric. We provide suggestions about its measurement by cautioning against predicting sensitive attributes, encouraging the use of confidence intervals due to fluctuations in the fairness of models across runs, and discussing the limitations of what this metric captures. Throughout this paper, we work to provide an interrogative look at the technical measurement of bias amplification, guided by our normative ideas of what we want it to encompass. Code is located at https://github.com/princetonvisualai/directional-bias-amp

研究动机与目标

• 为解决现有偏差放大度量的不足，这些度量将不同类型偏差混淆，且未能考虑受保护属性的基率。
• 开发一种更精确且具有规范性依据的度量，以区分 A→T 和 T→A 偏差放大的路径。
• 通过明确哪些类型的偏差放大是可操作且情境相关的，指导更公平的模型评估。
• 警告不要过度依赖偏差放大作为唯一的公平性度量，尤其是在训练数据相关性可能反映系统性不公的场景中。
• 由于模型在不同随机种子下的可变性，建议使用置信区间并谨慎解读公平性度量。

提出的方法

• 提出一种新度量 BiasAmp→，以方向性方式量化偏差放大，区分从受保护属性 A 到任务 T（A→T）的放大和从任务 T 到属性 A（T→A）的放大。
• 该度量与准确率解耦，并通过纳入受保护属性的基率，反映现实世界中的公平性关切。
• 通过预测误差的分解，隔离那些放大训练数据中现有相关性的部分，尤其关注强化或扭曲现有关联的误分类。
• 使用置信区间来应对 Rashomon 效应——即随机种子的微小变化导致公平性度量大幅波动——凸显了公平性度量在不同模型运行中的不稳定性。
• 建议尽可能避免预测敏感属性，因为这可彻底消除 T→A 放大，并减少规范性上的模糊性。
• 在多种场景下评估该度量，包括计算机视觉（如性别和绘画分类）和刑事风险预测（如 COMPAS），以证明其情境依赖的有效性。

实验结果

研究问题

• RQ1 如何有意义地将偏差放大分解为独立的方向性路径（A→T 与 T→A），以提高诊断精度？
• RQ2 现有偏差放大度量在多大程度上未能考虑受保护属性的基率，这种缺失如何影响公平性评估？
• RQ3 在风险预测等未来结果未知且标签存在偏差的场景中，即使偏差放大较低，是否仍可能与高公平性差异共存？
• RQ4 模型在不同随机种子下的可变性如何影响公平性度量的可靠性，置信区间在此过程中起到什么作用？
• RQ5 在何种情况下偏差放大是合适的公平性度量，而在何种情况下应避免使用，转而采用其他公平性标准？

主要发现

• 所提出的 BiasAmp→ 度量成功解耦了 A→T 和 T→A 的偏差放大，使更精准且具有规范性依据的干预成为可能。
• 在 COMPAS 风险预测场景中，所有阈值下的偏差放大均接近零，但显著的假阳性率差异依然存在，表明低放大并不等同于公平。
• 准确率为完美的模型表现出零偏差放大，表明偏差放大与准确率一致，二者并不冲突。
• 该度量揭示，通过避免预测敏感属性，可彻底消除 T→A 放大，这对模型设计具有强烈的规范性启示。
• 由于模型运行间存在高度变异性，置信区间对于解释 BiasAmp→ 至关重要，凸显了公平性度量中的 Rashomon 效应。
• 在历史标签存在偏差或未来结果不可观测的场景（如刑事再犯预测）中，偏差放大不足以作为公平性度量。