[论文解读] Fairness in Visual Clustering: A Novel Transformer Clustering Approach

Xuan-Bac Nguyen, Chi Nhan Duong+4 more|arXiv (Cornell University)|Apr 14, 2023

Face recognition and analysis被引用 5

一句话总结

本文提出了一种基于Transformer的新型聚类框架，通过引入公平性感知损失和跨注意力机制，提升了视觉聚类中不同人口统计群体之间的聚类纯度一致性，从而增强了公平性。即使在无法获取敏感属性标注的情况下，该方法在BUPT-BalancedFace数据集上仍取得了93.28%的F_P和2.47%的种族、年龄、性别和种族维度上的标准偏差，达到当前最优性能。

ABSTRACT

Promoting fairness for deep clustering models in unsupervised clustering settings to reduce demographic bias is a challenging goal. This is because of the limitation of large-scale balanced data with well-annotated labels for sensitive or protected attributes. In this paper, we first evaluate demographic bias in deep clustering models from the perspective of cluster purity, which is measured by the ratio of positive samples within a cluster to their correlation degree. This measurement is adopted as an indication of demographic bias. Then, a novel loss function is introduced to encourage a purity consistency for all clusters to maintain the fairness aspect of the learned clustering model. Moreover, we present a novel attention mechanism, Cross-attention, to measure correlations between multiple clusters, strengthening faraway positive samples and improving the purity of clusters during the learning process. Experimental results on a large-scale dataset with numerous attribute settings have demonstrated the effectiveness of the proposed approach on both clustering accuracy and fairness enhancement on several sensitive attributes.

研究动机与目标

• 解决无监督视觉聚类中的种族偏差问题，尤其是在敏感属性标注不可用或难以获取的情况下。
• 通过聚类纯度（即每个聚类内正样本与其相关度的比率）来定义并度量聚类中的公平性。
• 设计一种新型损失函数，通过在不同人口统计群体的聚类之间强制实现纯度一致性，以缓解偏差。
• 设计一种跨注意力机制，强化远距离正样本与聚类中心之间的关联，从而提升聚类质量。
• 在不依赖敏感属性标签的前提下，同时在多个敏感属性（种族、年龄、性别、种族）上实现最先进的聚类准确率与公平性。

提出的方法

• 提出一种新的公平性度量指标：聚类纯度，定义为聚类内正样本与其相关度的比率，用于量化人口统计偏差。
• 引入一种公平性正则化损失 $\mathcal{L}^{fair}$，通过最小化聚类间纯度的方差来促进公平性。
• 设计一种新颖的跨注意力（C-ATT）机制，用于计算聚类间的相关性，从而增强远距离正样本与聚类中心之间的关联。
• 采用特征最大化损失 $\mathcal{L}^{FMI}$ 以提升表示质量与聚类紧凑性。
• 在340万张野外图像上采用自监督预训练策略，随后在BUPT-BalancedFace上进行带公平性约束的微调。
• 采用基于聚类特定查询的多头注意力机制，根据聚类纯度与相关度动态调整注意力。

实验结果

研究问题

• RQ1 聚类纯度能否作为无监督视觉聚类中人口统计偏差的可靠代理指标？
• RQ2 在无法访问敏感属性标注的情况下，如何在聚类中实现公平性？
• RQ3 新型注意力机制是否可通过增强长距离正相关性，改善少数群体样本的表示？
• RQ4 在聚类间强制实现纯度一致性是否能同时提升聚类准确率与公平性？
• RQ5 所提方法在种族、年龄、性别和种族等多样化敏感属性上的鲁棒性如何？

主要发现

• 所提方法在BUPT-BalancedFace数据集上对四种种族的聚类F_P达到93.28%，标准偏差为2.47%，在准确率与公平性方面均优于先前方法。
• 消融实验表明，C-ATT、$\mathcal{L}^{fair}$ 与 $\mathcal{L}^{FMI}$ 的联合使用性能最佳，相比基线将标准偏差降低了1.42个百分点。
• 在不同子聚类设置下，模型保持稳定性能，F_P得分范围为93.28% ± 2.47%（k=4）至92.52% ± 3.09%（k=16），表明具有强鲁棒性。
• 在年龄、性别与种族等人口统计维度上，该方法始终展现出比基线更低的标准偏差，证明其在多样化属性上的卓越公平性。
• 使用FairFace进行属性预测（阈值0.9）确保了高置信度评估，结果表明在所有人口统计划分中均保持一致的最先进性能。
• 在包含340万张图像的BUPT-In-the-wild数据集上，模型取得98.44%的F_P，表明其具备出色的泛化能力与可扩展性。