[论文解读] FNNC: Achieving Fairness through Neural Networks

Manisha Padala, Sujit Gujar|arXiv (Cornell University)|Nov 1, 2018

Ethics and Social Impacts of AI参考文献 23被引用 13

一句话总结

FNNC 提出了一种基于神经网络的框架，通过在损失函数中直接引入拉格朗日乘子来施加公平性约束——人口统计均等性（Demographic Parity）、差异影响（Disparate Impact）和均等机会（Equalized Odds）——从而在分类任务中实现公平性。该方法在理论泛化界的支持下实现了最先进性能，避免了使用凸替代函数，支持通过两步小批量随机梯度下降实现端到端训练。

ABSTRACT

In classification models fairness can be ensured by solving a constrained optimization problem. We focus on fairness constraints like Disparate Impact, Demographic Parity, and Equalized Odds, which are non-decomposable and non-convex. Researchers define convex surrogates of the constraints and then apply convex optimization frameworks to obtain fair classifiers. Surrogates serve only as an upper bound to the actual constraints, and convexifying fairness constraints might be challenging. We propose a neural network-based framework, \emph{FNNC}, to achieve fairness while maintaining high accuracy in classification. The above fairness constraints are included in the loss using Lagrangian multipliers. We prove bounds on generalization errors for the constrained losses which asymptotically go to zero. The network is optimized using two-step mini-batch stochastic gradient descent. Our experiments show that FNNC performs as good as the state of the art, if not better. The experimental evidence supplements our theoretical guarantees. In summary, we have an automated solution to achieve fairness in classification, which is easily extendable to many fairness constraints.

研究动机与目标

• 为解决基于凸替代函数的公平性约束在机器学习中的局限性，这些约束可能无法紧密绑定原始的非凸公平性度量。
• 开发一种端到端的神经网络框架，直接优化公平性，而无需手动设计替代函数。
• 为在人口统计均等性和均等机会约束下，公平性损失的泛化误差建立理论边界。
• 通过实证验证，框架在满足公平性约束的同时实现高准确率，性能优于或匹配最先进方法。
• 展示框架在其他非凸、小批量级别的公平性度量（如F1得分和Q-mean损失）上的可扩展性。

提出的方法

• 该框架采用具有ReLU和Softmax激活函数的两层前馈神经网络，并施加权重和利普希茨约束。
• 通过拉格朗日乘子将公平性约束（DP、DI、EO）嵌入损失函数，以在训练过程中强制执行这些约束。
• 通过两步小批量随机梯度下降进行模型训练，实现在每个更新步骤中对小批量内的公平性指标进行计算。
• 利用度量熵和覆盖数论证推导出泛化误差边界，表明误差随数据量增加而渐近趋近于零。
• 通过在小批量中使用可微分近似直接优化非凸公平性度量，避免了使用凸替代函数。
• 该方法可扩展至其他非凸目标（如Q-mean损失），如消融实验所示。

实验结果

研究问题

• RQ1 能否在不使用凸替代函数的情况下，使神经网络框架直接优化如人口统计均等性和均等机会等非凸公平性约束？
• RQ2 在人口统计均等性（DP）和均等机会（EO）约束下，公平性约束神经网络训练的泛化误差边界可建立为何种形式？
• RQ3 为何使用替代约束近似差异影响（Disparate Impact）特别困难，其理论限制是什么？
• RQ4 所提出的FNNC框架在准确率和公平性度量方面能否实现与最先进公平性方法相当或更优的性能？
• RQ5 该框架在公平性之外的其他非凸、小批量优化目标上的可扩展性程度如何？

主要发现

• FNNC在基准数据集上实现了公平性-准确率权衡的最先进或更优性能，优于基于替代函数的凸优化方法。
• 为公平性约束损失（DP和EO）推导出理论泛化边界，表明随着数据量增加，误差渐近趋近于零。
• 框架表明，通过替代约束近似差异影响存在本质不稳定性，因为预测的微小扰动可能导致约束估计出现无界误差。
• 实证结果证实，FNNC在群体基线差异显著的情况下仍能保持高预测准确率并满足公平性约束。
• 该方法成功扩展至非公平性目标，如在人口统计均等性约束下最小化Q-mean损失，显示出广泛适用性。
• 两步小批量SGD通过允许在每个小批量中计算公平性指标，实现了有效优化，使框架具备可扩展性和实用性。