[论文解读] A Near-Optimal Algorithm for Debiasing Trained Machine Learning Models

Ibrahim Alabdulmohsin, Mario Lučić|arXiv (Cornell University)|Jun 6, 2021

Adversarial Robustness in Machine Learning参考文献 55被引用 7

一句话总结

本文提出了一种近似最优的后处理算法——随机化阈值优化器（RTO），通过投影随机梯度下降（SGD）求解正则化优化问题，对训练好的机器学习模型（尤其是深度神经网络）进行去偏。RTO 实现了近似最优的额外贝叶斯风险，并显著优于以往的后处理方法，同时在性能上与在处理方法相当，尤其在大规模模型上表现突出。

ABSTRACT

We present a scalable post-processing algorithm for debiasing trained models, including deep neural networks (DNNs), which we prove to be near-optimal by bounding its excess Bayes risk. We empirically validate its advantages on standard benchmark datasets across both classical algorithms as well as modern DNN architectures and demonstrate that it outperforms previous post-processing methods while performing on par with in-processing. In addition, we show that the proposed algorithm is particularly effective for models trained at scale where post-processing is a natural and practical choice.

研究动机与目标

• 开发一种可扩展的、针对已训练模型（包括深度神经网络）的后处理去偏方法，实现近似最优的公平性并具备理论保证。
• 解决在信贷贷款、医疗保健和刑事司法等高风险机器学习应用中偏见问题的挑战，这些场景中公平性至关重要但难以普遍定义。
• 证明后处理在大规模预训练模型上可与在处理方法相媲美，尤其在模型训练规模较大时。
• 证明在统计独立性定义下，靠近决策阈值的随机化对于贝叶斯风险一致性是理论必需的，并在正则化优化框架中形式化该结论。

提出的方法

• 将去偏问题形式化为正则化优化问题，以在统计独立性约束下最小化额外贝叶斯风险。
• 使用投影随机梯度下降（SGD）高效求解优化问题，从而实现对大规模模型的可扩展性。
• 引入随机化阈值规则，其中随机化的宽度由正则化超参数控制，确保贝叶斯风险一致性。
• 推导理论边界，证明在统计独立性定义下，靠近阈值的随机化对于一致性是必需的。
• 将该算法应用于经典模型和现代 DNN，包括 BiT、ResNet、MobileNet 和 DenseNet 架构。
• 通过附录 D 中的修改，将该方法扩展至处理非二元敏感属性和更弱的公平性定义。

实验结果

研究问题

• RQ1 后处理方法能否在去偏已训练模型（尤其是深度神经网络）时实现近似最优的额外贝叶斯风险？
• RQ2 在统计独立性定义下，靠近决策阈值的随机化是否在公平分类中对贝叶斯风险一致性具有理论必要性？
• RQ3 后处理方法在大规模预训练模型上的性能与在处理方法相比如何？
• RQ4 去偏效果是否会随着模型规模提升而增强，特别是在大规模预训练的过参数化模型上？
• RQ5 所提出的算法能否推广至非二元敏感属性和更弱的公平性定义？

主要发现

• RTO 在 CelebA 和 COCO 等标准基准数据集上显著优于以往的后处理去偏方法。
• 该算法在性能上与在处理方法相当，是后处理技术中的最先进方法。
• RTO 在大规模训练模型上尤为有效——即那些高度过参数化、在大规模数据集上预训练后微调的模型。
• 实证结果表明，去偏性能随模型规模提升而增强，验证了后处理在大规模机器学习流水线中的实用性。
• 理论分析证明，靠近阈值的随机化对于贝叶斯风险一致性是必需的，且 RTO 的设计满足该条件。
• 该方法在多种架构上均保持强大性能，包括 ResNet、MobileNet、DenseNet 和 NASNet，在视觉任务和属性预测任务中均表现优异。