[论文解读] Investigating Trade-offs in Utility, Fairness and Differential Privacy in Neural Networks

Marlotte Pannekoek, Giacomo Spigler|arXiv (Cornell University)|Feb 11, 2021

Privacy-Preserving Technologies in Data被引用 9

一句话总结

本文通过对比一个简单的神经网络（S-NN）、一个公平神经网络（F-NN）、一个差分隐私神经网络（DP-NN）以及一个联合公平与隐私的模型（DPF-NN），研究了神经网络中效用、公平性和差分隐私之间的权衡。在强隐私设置（ε=0.1，δ=0.00001）下，DPF-NN在仅造成与S-NN和DP-NN相近的准确率损失的情况下，实现了优越的公平性（风险差异低于0.05），在保持公平性的同时，其效用表现优于先前工作。

ABSTRACT

To enable an ethical and legal use of machine learning algorithms, they must both be fair and protect the privacy of those whose data are being used. However, implementing privacy and fairness constraints might come at the cost of utility (Jayaraman & Evans, 2019; Gong et al., 2020). This paper investigates the privacy-utility-fairness trade-off in neural networks by comparing a Simple (S-NN), a Fair (F-NN), a Differentially Private (DP-NN), and a Differentially Private and Fair Neural Network (DPF-NN) to evaluate differences in performance on metrics for privacy (epsilon, delta), fairness (risk difference), and utility (accuracy). In the scenario with the highest considered privacy guarantees (epsilon = 0.1, delta = 0.00001), the DPF-NN was found to achieve better risk difference than all the other neural networks with only a marginally lower accuracy than the S-NN and DP-NN. This model is considered fair as it achieved a risk difference below the strict (0.05) and lenient (0.1) thresholds. However, while the accuracy of the proposed model improved on previous work from Xu, Yuan and Wu (2019), the risk difference was found to be worse.

研究动机与目标

• 研究深度学习模型中效用、公平性与差分隐私之间的相互作用。
• 评估单独及组合应用公平性与隐私约束对神经网络性能的影响。
• 评估将差分隐私与公平性结合是否能改善模型表现，相较于先前针对逻辑回归的研究。
• 确定是否能在不显著降低模型效用的前提下实现隐私与公平性。
• 验证拒绝选项分类与差分隐私优化器在多约束神经网络中的有效性。

提出的方法

• 本研究对比了四种模型：一个简单的神经网络（S-NN）、一个使用拒绝选项分类的公平神经网络（F-NN）、一个采用隐私保护优化器的差分隐私神经网络（DP-NN），以及一个联合实现公平与隐私的模型（DPF-NN）。
• 公平性通过后处理方法——拒绝选项分类实现，该方法调整预测阈值以减少受保护群体之间的差异。
• 差分隐私通过使用受控噪声注入的差分隐私优化器实现，其受隐私预算参数ε和δ的控制。
• 模型在Adult和Dutch数据集上进行训练与评估，性能指标包括准确率（效用）、风险差异（公平性）以及ε、δ（隐私）。
• DPF-NN同时应用公平性与隐私约束，结合了拒绝选项分类与差分隐私优化器。
• 采用Xu、Yuan与Wu（2019）在逻辑回归上的基线结果作为对比评估依据。

实验结果

研究问题

• RQ1 应用差分隐私如何影响神经网络的公平性与效用？
• RQ2 在隐私约束下，通过后处理强制实现公平性在多大程度上改善了模型性能？
• RQ3 神经网络能否同时实现强隐私、高公平性与良好效用？
• RQ4 与单独应用约束相比，公平性与差分隐私联合应用在权衡方面表现如何？
• RQ5 DPF-NN模型是否在平衡隐私、公平性与效用方面优于先前工作？

主要发现

• 在ε=0.1与δ=0.00001设置下，DPF-NN的风险差异低于严格阈值0.05，表明其公平性表现优异。
• DPF-NN的平均准确率仅比S-NN和DP-NN略有下降，表明在强隐私设置下仍保持了高效率用。
• 尽管风险差异更高，DPF-NN在准确率方面显著优于Xu、Yuan与Wu（2019）提出的基线差分隐私与公平模型。
• 在ε=0.1与δ=0.00001设置下，DP-NN的准确率显著高于基线私有模型，同时保持了相近的公平性水平。
• 在DP-NN与DPF-NN中均未观察到准确率随隐私增强而持续下降的趋势，挑战了先前研究的假设。
• F-NN在实现高公平性与高准确率的同时，未提供任何隐私保护，凸显了联合约束的必要性。