[论文解读] Feature and Label Embedding Spaces Matter in Addressing Image Classifier Bias

William Thong, Cees G. M. Snoek|arXiv (Cornell University)|Oct 27, 2021

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文提出一种双空间方法，通过在特征空间中识别偏差方向，并引入学习每个受保护属性值特定类别表征的受保护标签嵌入头，以减轻图像分类器中的偏差。通过结合基于PCA的特征空间偏差去除与标签嵌入上的余弦softmax交叉熵损失，该方法在多分类、多标签和二分类基准上提升了公平性，同时保持了分类准确率。

ABSTRACT

This paper strives to address image classifier bias, with a focus on both feature and label embedding spaces. Previous works have shown that spurious correlations from protected attributes, such as age, gender, or skin tone, can cause adverse decisions. To balance potential harms, there is a growing need to identify and mitigate image classifier bias. First, we identify in the feature space a bias direction. We compute class prototypes of each protected attribute value for every class, and reveal an existing subspace that captures the maximum variance of the bias. Second, we mitigate biases by mapping image inputs to label embedding spaces. Each value of the protected attribute has its projection head where classes are embedded through a latent vector representation rather than a common one-hot encoding. Once trained, we further reduce in the feature space the bias effect by removing its direction. Evaluation on biased image datasets, for multi-class, multi-label and binary classifications, shows the effectiveness of tackling both feature and label embedding spaces in improving the fairness of the classifier predictions, while preserving classification performance.

研究动机与目标

• 通过受保护属性类原型识别图像分类器特征空间中的主导偏差方向。
• 通过学习每个受保护属性值特定的标签嵌入，而非使用标准的one-hot编码，以减轻偏差。
• 在有偏差的真实世界数据集上，提升图像分类的公平性，同时不降低性能。
• 评估在多分类、多标签和二分类任务中，联合处理特征空间与标签嵌入空间的有效性。

提出的方法

• 为每个受保护属性值计算类原型，并使用PCA识别特征空间中的主要偏差方向。
• 为每个受保护属性值引入独立的投影头（受保护分类头），将特征映射到不同的标签嵌入空间。
• 使用支持多分类、多标签和二分类的余弦softmax交叉熵损失进行模型训练，基于受保护标签嵌入的设定。
• 在训练后通过将特征投影到特征空间中已识别偏差方向的正交补空间，执行偏差去除操作。
• 使用ResNet18作为主干网络，并采用SGD进行微调，学习率0.1，动量0.9，批量大小128。
• 利用预训练的ImageNet特征，并在损失函数中应用温度缩放（0.1）以稳定训练。

实验结果

研究问题

• RQ1 是否可以识别出一个共享的特征空间偏差方向，以捕捉受保护属性值间偏差的最大方差？
• RQ2 与标准one-hot编码相比，为每个受保护属性值学习标签嵌入是否能提升图像分类中的公平性？
• RQ3 在特征空间中去除已识别的偏差方向，能在多大程度上进一步减少预测中的偏差？
• RQ4 与公平性-盲视方法相比，所提出方法在有偏差图像数据集上的公平性与准确率表现如何？

主要发现

• 受保护类原型差异的第一主成分捕捉了特征空间中的主导偏差方向，解释了偏差的最大方差。
• 在IMDB人脸数据集上进行性别预测（年龄为受保护属性）时，所提方法在测试集上达到83.65%的准确率，优于基线和先前方法。
• 在年龄预测任务中（性别为受保护属性），该方法达到73.08%的测试准确率，显著优于基线和对抗性基线方法。
• 受保护标签嵌入与特征空间中训练后偏差去除的结合，在所有基准上均取得最高公平性得分，较公平性-盲视方法提升10–15%。
• 该方法在降低偏差的同时保持了高分类性能，表明联合建模特征空间与标签空间比仅处理单一空间更为有效。