[论文解读] Men Also Do Laundry: Multi-Attribute Bias Amplification

Dora Zhao, Jerone T. A. Andrews+1 more|arXiv (Cornell University)|Oct 21, 2022

Adversarial Robustness in Machine Learning被引用 6

一句话总结

本文提出多属性偏差放大（Multi-Attribute Bias Amplification）这一新度量指标，用于检测跨属性组合的偏差放大现象——揭示出模型可能利用单属性度量无法捕捉的多属性相关性。作者表明，针对单一属性设计的偏差缓解方法可能无意中加剧多属性偏差，凸显了在公平性评估中引入多属性评估的必要性。

ABSTRACT

As computer vision systems become more widely deployed, there is increasing concern from both the research community and the public that these systems are not only reproducing but amplifying harmful social biases. The phenomenon of bias amplification, which is the focus of this work, refers to models amplifying inherent training set biases at test time. Existing metrics measure bias amplification with respect to single annotated attributes (e.g., $ exttt{computer}$). However, several visual datasets consist of images with multiple attribute annotations. We show models can learn to exploit correlations with respect to multiple attributes (e.g., {$ exttt{computer}$, $ exttt{keyboard}$}), which are not accounted for by current metrics. In addition, we show current metrics can give the erroneous impression that minimal or no bias amplification has occurred as they involve aggregating over positive and negative values. Further, these metrics lack a clear desired value, making them difficult to interpret. To address these shortcomings, we propose a new metric: Multi-Attribute Bias Amplification. We validate our proposed metric through an analysis of gender bias amplification on the COCO and imSitu datasets. Finally, we benchmark bias mitigation methods using our proposed metric, suggesting possible avenues for future bias mitigation

研究动机与目标

• 为解决现有偏差放大度量指标仅评估单一属性、忽略数据集中多属性相关性的局限性。
• 展示现有度量指标因正负分数相互抵消而可能掩盖显著的偏差放大现象，导致误导性解读。
• 提出一种新度量指标，用于评估属性组合中的偏差放大，提供更准确且可解释的模型公平性评估。
• 利用新度量指标对现有偏差缓解技术进行基准测试，揭示单一属性缓解方法可能加剧多属性偏差。
• 强调数据集平衡的不足，并探讨合成数据增强在应对多属性偏差方面的潜力。

提出的方法

• 将先前的偏差放大度量指标（Zhao et al., 2017；Wang & Russakovsky, 2021）扩展至评估属性组合的偏差放大，而不仅限于单一属性。
• 使用训练集与测试集中特定群体属性比例的原始差异与绝对差异来衡量放大程度，避免正负值相互抵消。
• 将该度量应用于在 COCO、imSitu 和 CelebA 上训练的多标签分类模型，重点关注性别表达与发色作为群体标签。
• 采用多属性偏差放大得分，捕捉模型在多个属性共现时放大或抑制偏差的情况。
• 提出一种公平性评估框架，默认对所有属性组合赋予相等权重，但支持根据上下文进行特定重加权。
• 评估包括数据平衡与数据修复（Agarwal et al., 2020）在内的缓解策略，分析其对单一属性与多属性偏差的影响。

实验结果

研究问题

• RQ1 当分析单一属性时未显现的情况下，模型在属性组合上的偏差放大程度如何？
• RQ2 为何现有偏差放大度量指标因正负分数相互抵消而无法捕捉多属性偏差？
• RQ3 专为单一属性设计的偏差缓解方法是否可能在多属性环境中无意中加剧偏差放大？
• RQ4 即使在数据完全平衡的数据集中，多属性偏差放大是否仍可检测到，表明其源于模型层面而非数据不平衡？
• RQ5 在测量多属性公平性时，依赖标注属性与代理群体标签存在哪些局限性？

主要发现

• 在多属性组合上评估时，模型表现出显著更高的偏差放大程度，而单属性度量常低估多属性偏差。
• 所提出的多属性偏差放大度量显示，即使在数据平衡的数据集中，属性组合间的偏差放大依然存在，表明其源于模型层面的偏差，而不仅限于数据不平衡。
• 旨在减少单属性偏差的缓解方法可能反而加剧多属性偏差放大，揭示了公平性干预中关键的权衡关系。
• 该度量表明，多属性偏差放大并非仅由数据不平衡引起，即使各属性单独平衡，偏差放大现象依然持续存在。
• 本研究证明，多属性偏差放大可被检测到，即使在非二元群体（如 CelebA 中的发色）中也成立，从而将公平性评估的范围从二元性别扩展至更广泛群体。
• 作者发现，依赖代理群体标签（如通过外貌推断性别）会固化有害刻板印象，限制公平性评估，凸显了当前度量指标在伦理层面的关键局限。