[论文解读] Characterising Bias in Compressed Models

Sara Hooker, Nyalleng Moorosi+3 more|arXiv (Cornell University)|Oct 6, 2020

Advanced Neural Network Applications参考文献 39被引用 46

一句话总结

本论文表明通过剪枝和量化进行模型压缩在整体准确度上基本保持不变，但通过在一小部分困难样本上增加错误来放大偏见，这些样本称为 Compression Identified Exemplars (CIE)，并提出 CIE 作为一个人类参与的审计工具。

ABSTRACT

The popularity and widespread use of pruning and quantization is driven by the severe resource constraints of deploying deep neural networks to environments with strict latency, memory and energy requirements. These techniques achieve high levels of compression with negligible impact on top-line metrics (top-1 and top-5 accuracy). However, overall accuracy hides disproportionately high errors on a small subset of examples; we call this subset Compression Identified Exemplars (CIE). We further establish that for CIE examples, compression amplifies existing algorithmic bias. Pruning disproportionately impacts performance on underrepresented features, which often coincides with considerations of fairness. Given that CIE is a relatively small subset but a great contributor of error in the model, we propose its use as a human-in-the-loop auditing tool to surface a tractable subset of the dataset for further inspection or annotation by a domain expert. We provide qualitative and quantitative support that CIE surfaces the most challenging examples in the data distribution for human-in-the-loop auditing.

研究动机与目标

• 评估剪枝和量化如何影响受保护属性子群体的预测偏差与公平性。
• 量化压缩与非压缩模型在性别和年龄属性上的错误率差异（FPR/FNR）。
• 引入并验证 Compression Identified Exemplars (CIE) 作为标签无关的审计工具。
• 探索替代度量（Modal CIE 与 Taxicab CIE）以在没有受保护属性标签的情况下揭示具有挑战性的样本。
• 提出利用 CIE 的人机协同审计工作流，以检查数据中的高偏置区域。

提出的方法

• 在 CelebA 数据集上训练 ResNet-18，用于二元金发与非金发分类。
• 在训练过程中对结束稀疏度水平 t 应用剪枝，取值为 {0.3,0.5,0.7,0.9,0.95,0.99}，并在推理时固定掩码。
• 应用后训练8位量化（混合动态范围和定点）以与基线进行比较。
• 使用单位属性（Male、Young）和交叉属性（Young Male）来评估子群体性能，指标包括 top-1 accuracy、FPR 和 FNR。
• 将 Compression Identified Exemplars (CIE) 定义为压缩与非压缩标签预测分歧的样本（Modal CIE 与 Taxicab CIE）。
• 在每个压缩级别重复进行 30 个模型的实验以确保统计显著性。

实验结果

研究问题

• RQ1 模型压缩是否放大对低代表性属性子群体的算法偏见？
• RQ2 在子群体之间，剪枝和量化下的假阳性率和假阴性率有何变化？
• RQ3 CIE（Modal 与 Taxicab）是否在没有属性标签的情况下揭示可审计的具有挑战性的样本？
• RQ4 CIE 是否指示对压缩和非压缩模型而言都是最困难的样本？
• RQ5 使用 CIE 的人机协同工作流是否能在有限标注 regime 下有效审计压缩模型？

主要发现

• 在压缩下总体 top-1 准确度仍然较高（例如 基线 94.73%，90% 剪枝时 94.07%，95% 剪枝时 93.39%。）
• 剪枝水平的变化中，压缩始终放大对代表性不足子群体的差异对待。
• 在 95% 剪枝时，相对于基线，女性误报率提高 49.54%，男性误报增加 6.32%。
• 更高的压缩水平在代表性不足的属性上表现恶化，尤其是在少数交叉属性组上。
• CIE 测度（Modal 与 Taxicab）在某些阈值下识别出一小部分数据，在压缩下其准确率急剧下降（例如在某些阈值下 Modal/Taxicab CIE 的准确率为 49.82%/55.35%）。
• CIEs 在代表性不足属性上过度表现，并在无需受保护属性标签的情况下揭示供人工审计的具有挑战性的样本。