[论文解读] FairGRAPE: Fairness-aware GRAdient Pruning mEthod for Face Attribute Classification

Xiaofeng Lin, Seungbae Kim+1 more|arXiv (Cornell University)|Jul 22, 2022

Face recognition and analysis被引用 4

一句话总结

FairGRAPE 是一种公平感知的模型剪枝方法，可在深度神经网络中保留与群体相关的特征重要性，用于人脸属性分类。通过迭代剪除低重要性权重，同时保持不同人口统计子群体间群体重要性的相对分布，其相比最先进剪枝方法将性能差异降低了高达90%，尤其在高稀疏率下表现显著（例如，剪枝率达99%）。

ABSTRACT

Existing pruning techniques preserve deep neural networks' overall ability to make correct predictions but may also amplify hidden biases during the compression process. We propose a novel pruning method, Fairness-aware GRAdient Pruning mEthod (FairGRAPE), that minimizes the disproportionate impacts of pruning on different sub-groups. Our method calculates the per-group importance of each model weight and selects a subset of weights that maintain the relative between-group total importance in pruning. The proposed method then prunes network edges with small importance values and repeats the procedure by updating importance values. We demonstrate the effectiveness of our method on four different datasets, FairFace, UTKFace, CelebA, and ImageNet, for the tasks of face attribute classification where our method reduces the disparity in performance degradation by up to 90% compared to the state-of-the-art pruning algorithms. Our method is substantially more effective in a setting with a high pruning rate (99%). The code and dataset used in the experiments are available at https://github.com/Bernardo1998/FairGRAPE

研究动机与目标

• 解决现有剪枝方法因不成比例地移除对代表性不足群体重要的特征，而加剧不同人口统计子群体间准确率差异的问题。
• 开发一种剪枝框架，在考虑模型权重的群体重要性基础上，同时保持整体模型准确率与公平性。
• 确保在多样化数据集和高稀疏度水平下的鲁棒性，特别是在对公平性与效率要求极高的真实世界移动和可穿戴应用中。
• 证明压缩模型中的公平性无法仅通过数据重平衡解决，必须在剪枝过程中引入算法干预。

提出的方法

• 使用梯度幅值平方计算每个网络权重的群体重要性得分，公式为 $ I_{w,k} = (g_w w)^2 $，其中 $ g_w $ 由小批量上的平均损失推导得出。
• 在剪枝过程中通过选择最能保持群体重要性总值的大小与占比的边，来维持各人口统计群体（如种族、性别）间总重要性的相对分布。
• 通过迭代剪除低重要性权重，并在每次剪枝后重新计算重要性得分，以确保动态公平性保护。
• 使用20%的训练数据子集进行重要性计算，该比例经实证发现可在速度与准确率之间取得最佳平衡。
• 在多种架构（如 ResNet-34、MobileNet-V2）和数据集（FairFace、UTKFace、CelebA、ImageNet）上应用该方法，以确保泛化能力。
• 在相同设置下与基线剪枝方法（如 SNIP、GraSP、Weight Selection）进行比较，以隔离 FairGRAPE 的公平性优势。

实验结果

研究问题

• RQ1 标准剪枝方法在人脸属性分类中在多大程度上加剧了不同人口统计子群体间的性能差异？
• RQ2 能否设计一种剪枝策略，在实现高稀疏度的同时，维持群体重要性的相对分布？
• RQ3 在高剪枝率（如99%）下，FairGRAPE 相较于最先进剪枝方法在公平性与准确率方面的表现如何？
• RQ4 在梯度计算中进行数据重平衡是否能缓解剪枝引发的偏差？还是必须依赖算法层面的公平性干预？
• RQ5 剪枝后，群体重要性的层间分布如何变化？FairGRAPE 是否能保持各层间群体重要性的平衡？

主要发现

• 在四个数据集上，FairGRAPE 相较于最先进剪枝方法，将不同人口统计群体间的性能退化差异降低了高达90%。
• 在99%的剪枝率下，当使用少数群体子集时，FairGRAPE 的偏差显著更低（例如，在 UTKFace 上 $ \rho(\Delta) = 0.78 $），而 GraSP（$ \rho(\Delta) = 2.31 $）和 SNIP（$ \rho(\Delta) = 1.90 $）的偏差更高。
• 该方法在所有稀疏度水平下均实现了最高准确率和最低公平性差距，即使在99%稀疏度下性能下降也极小。
• 层间分析表明，FairGRAPE 在性别和种族之间均保持了平衡的重要性得分，而 SNIP 和 Weight Selection 等无群体意识的方法则不成比例地剪除了对代表性不足群体重要的特征。
• 仅使用少数群体数据进行梯度计算无法减少偏差，甚至可能增加偏差，这表明仅靠数据重平衡不足以解决剪枝中的公平性问题。
• 用于重要性计算的最优训练子集大小为20%，在准确率与计算效率之间实现了最佳平衡。