[论文解读] Gradient Reversal Against Discrimination

Edward Raff, Jared Sylvester|arXiv (Cornell University)|Jul 1, 2018

Ethics and Social Impacts of AI参考文献 4被引用 8

一句话总结

本文提出梯度反向去歧视（GRAD），一种简单而有效的方法，通过在反向传播过程中反转受保护属性预测器的梯度，训练公平的神经网络。GRAD 仅需一个超参数即可提升个体与群体公平性，在公平性度量上优于先前方法，并可在无架构限制的情况下支持多属性保护。

ABSTRACT

No methods currently exist for making arbitrary neural networks fair. In this work we introduce GRAD, a new and simplified method to producing fair neural networks that can be used for auto-encoding fair representations or directly with predictive networks. It is easy to implement and add to existing architectures, has only one (insensitive) hyper-parameter, and provides improved individual and group fairness. We use the flexibility of GRAD to demonstrate multi-attribute protection.

研究动机与目标

• 解决缺乏适用于任意架构的可泛化公平神经网络训练方法的问题。
• 克服公平性-无感知方法的局限性，该方法因受保护属性与特征之间的隐藏相关性而失效。
• 开发一种确保模型预测对性别、种族或年龄等受保护属性不变的方法。
• 在不牺牲预测准确率或公平性的前提下，实现对多个受保护属性的同步保护。
• 提供即插即用的解决方案，兼容任何神经网络架构，包括标准预测模型和自编码器。

提出的方法

• 引入双分支神经网络架构，其中一个分支预测目标标签，另一个分支预测受保护属性。
• 使用联合损失函数：ℓ(y, a_p) = ℓ_t(y) + λ·ℓ_p(a_p)，其中 λ 控制准确率与公平性之间的权衡。
• 通过将受保护属性分支的梯度乘以 -1，实现反向传播前的梯度反转。
• 这种梯度反转可抑制网络学习到与受保护属性相关的表征，同时保留对目标预测的有用性。
• 该方法与底层模型架构无关，可应用于预测网络和自编码网络。
• 该方法在 λ ∈ [50, 2000] 范围内表现鲁棒，实际应用中无需超参数调优。

实验结果

研究问题

• RQ1 能否使用单一、简单的方法在无需架构重构的前提下，跨多样化架构训练公平神经网络？
• RQ2 从受保护属性预测器中进行梯度反转是否能有效降低模型偏差，同时保持高预测准确率？
• RQ3 GRAD 是否能同时保护多个受保护属性（如种族和性别），而不会在任一属性上增加歧视？
• RQ4 GRAD 的性能对超参数 λ 的选择有多敏感？
• RQ5 在歧视、Delta 和一致性等公平性度量上，GRAD 是否优于现有公平性方法？

主要发现

• GRAD 实现了最先进的公平性表现，在 Adult、Health、Diabetes 和 German 等多个数据集上持续降低歧视。
• 在 Adult 数据集上，GRAD-Pred 的歧视得分为 0.0028（针对种族）和 0.0034（针对性别），显著低于基线模型。
• 在 Adult 数据集上，GRAD 将一致性提升至 0.7180，优于次佳方法（0.6464），表明在个体层面上实现了更好的公平性。
• 在 Diabetes 数据集上同时保护种族和性别时，GRAD 将歧视降低至 0.0055（种族）和 0.0030（性别），Delta = 0.5723，表明公平性与准确性的强平衡。
• GRAD 的性能对 λ 具有鲁棒性，在 λ ∈ [1, 2000] 范围内结果稳定，即使在极端值下，准确率或公平性也无显著下降。
• 仅保护一个属性（如种族）而忽略另一个（如性别）会导致未受保护属性的歧视增加，证实了多属性保护的必要性。