[论文解读] Improving Fairness in Image Classification via Sketching

Ruichen Yao, Ziteng Cui+2 more|arXiv (Cornell University)|Oct 31, 2022

Advanced Neural Network Applications被引用 4

一句话总结

本文提出了一种新颖的预处理方法，通过将输入图像转换为素描图来提升图像分类中的公平性，该方法固有地过滤掉皮肤颜色和纹理等诱发偏见的特征，同时保留语义信息。通过结合CLIP引导的素描模型与公平性损失，该方法在多个数据集上实现了最先进的公平性改进，且准确率下降极少。

ABSTRACT

Fairness is a fundamental requirement for trustworthy and human-centered Artificial Intelligence (AI) system. However, deep neural networks (DNNs) tend to make unfair predictions when the training data are collected from different sub-populations with different attributes (i.e. color, sex, age), leading to biased DNN predictions. We notice that such a troubling phenomenon is often caused by data itself, which means that bias information is encoded to the DNN along with the useful information (i.e. class information, semantic information). Therefore, we propose to use sketching to handle this phenomenon. Without losing the utility of data, we explore the image-to-sketching methods that can maintain useful semantic information for the target classification while filtering out the useless bias information. In addition, we design a fair loss to further improve the model fairness. We evaluate our method through extensive experiments on both general scene dataset and medical scene dataset. Our results show that the desired image-to-sketching method improves model fairness and achieves satisfactory results among state-of-the-art.

研究动机与目标

• 为解决由有偏见的训练数据引起的深度神经网络中的公平性问题，特别是皮肤颜色、性别和年龄等属性中的偏见。
• 探究图像素描是否能过滤掉导致偏见的视觉特征（例如颜色、纹理），同时不牺牲分类所需的语义信息。
• 开发一种简单而有效的预处理流程，提升公平性，而无需修改模型架构或推理过程。
• 评估结合公平性损失的素描方法在通用和医学图像数据集上的有效性。
• 证明素描方法可实现最先进的公平性表现，且准确率下降极少。

提出的方法

• 该方法使用CLIP引导的图像到素描模型，将输入图像转换为素描图，保留语义和与类别相关的关键特征，同时丢弃导致偏见的颜色和纹理信息。
• 随后将素描图像输入标准分类模型，使用交叉熵分类损失进行训练，以保持准确率。
• 引入公平性损失项以进一步最小化偏见，总损失为分类损失与公平性损失的加权和。
• 公平性损失旨在减少模型在不同敏感属性（如性别、肤色、年龄）上的预测差异。
• 素描处理流程在训练阶段离线应用，使其成为一种无需修改推理阶段的预处理技术。
• 使用标准公平性度量指标进行评估：统计独立差异（SPD）、平等机会差异（EOD）、相等机会差异（DEO）和平均机会差异（AOD）。

实验结果

研究问题

• RQ1 图像素描能否通过过滤皮肤颜色和纹理等属性特异性视觉线索，有效降低图像分类模型中的偏见？
• RQ2 素描是否能保留足够的语义和与类别相关的信息，以在降低偏见的同时维持高分类准确率？
• RQ3 与现有公平性方法相比，结合素描与公平性损失在公平性度量和准确率方面表现如何？
• RQ4 该方法能否在多样化数据集上泛化，包括医学影像（如ISIC）和通用场景数据集（如CelebA）？
• RQ5 添加公平性损失是否能进一步提升公平性，而不会显著降低模型准确率？

主要发现

• 在以性别为敏感属性的CelebA数据集中，该方法将SPD从原始值0.0707降低至0.0333（使用素描与公平性损失），显示出显著的公平性改进。
• 在CelebA数据集上针对肤色偏见，该方法将SPD从0.0707降至0.0333，DEO从0.0916降至0.0564，表现出强大的偏见缓解能力。
• 在ISIC数据集中，该方法将年龄相关偏见的SPD从0.246（原始值）降至0.223，肤色偏见的SPD从0.134降至0.144，且EOD和AOD指标也得到改善。
• 与SOTA公平性方法（fair training + FAA）相比，该方法在性别偏见的SPD降低方面实现了具有竞争力或更优的公平性表现。
• 尽管使用公平性损失后准确率略有下降，但整体性能依然强劲，所有敏感属性的F1分数和精确率均保持极低的下降幅度。
• 结果证实，素描是一种有效的公平性预处理技术，尤其在结合公平性损失时，可在多种图像分类任务中实现优异表现。