[论文解读] Differentially Private Fair Learning

Matthew Jagielski, Michael Kearns+5 more|arXiv (Cornell University)|Dec 6, 2018

Privacy-Preserving Technologies in Data参考文献 15被引用 18

一句话总结

本文提出了两种不同的差分隐私学习算法，能够同时通过相等机会（equalized odds）实现公平性，并防范对敏感属性的推理攻击。第一种方法采用需要在测试时获取群体成员身份的私有后处理；第二种方法采用私有的内处理方法，避免了此类访问，揭示了一个关键权衡：在差分隐私下，测试时对受保护属性的访问能够实现更优的隐私-公平性-准确率权衡，尤其是在小样本数据集上。

ABSTRACT

Motivated by settings in which predictive models may be required to be non-discriminatory with respect to certain attributes (such as race), but even collecting the sensitive attribute may be forbidden or restricted, we initiate the study of fair learning under the constraint of differential privacy. We design two learning algorithms that simultaneously promise differential privacy and equalized odds, a 'fairness' condition that corresponds to equalizing false positive and negative rates across protected groups. Our first algorithm is a private implementation of the equalized odds post-processing approach of [Hardt et al., 2016]. This algorithm is appealingly simple, but must be able to use protected group membership explicitly at test time, which can be viewed as a form of 'disparate treatment'. Our second algorithm is a differentially private version of the oracle-efficient in-processing approach of [Agarwal et al., 2018] that can be used to find the optimal fair classifier, given access to a subroutine that can solve the original (not necessarily fair) learning problem. This algorithm is more complex but need not have access to protected group membership at test time. We identify new tradeoffs between fairness, accuracy, and privacy that emerge only when requiring all three properties, and show that these tradeoffs can be milder if group membership may be used at test time. We conclude with a brief experimental evaluation.

研究动机与目标

• 解决在训练过程中由于法律或伦理限制无法使用种族等敏感属性时，构建公平且私有的机器学习模型的挑战。
• 探索差分隐私、公平性（特别是相等机会）与预测准确率在模型学习中的相互作用。
• 设计在可能的情况下无需在测试时访问受保护属性即可保证公平性和隐私的算法。
• 通过实证评估不同算法方法下隐私（epsilon）、公平性（公平性违规）和准确率（误差）之间的权衡。

提出的方法

• 提出 Hardt 等人（2016）所提出的相等机会后处理方法的差分隐私版本，通过在测试时使用受保护群体成员身份来调整模型输出。
• 实现基于 Agarwal 等人（2018）的私有内处理算法，利用带有拉普拉斯噪声的代价敏感分类查询接口以确保差分隐私。
• 通过向中间统计估计值（例如 (X^T X)^{-1} X^T C_b）添加校准后的拉普拉斯噪声，将差分隐私应用于训练过程，以保护敏感属性信息。
• 在后处理方法中使用逻辑回归作为基础分类器，在内处理方法中使用基于回归的线性预测器进行代价敏感学习。
• 在内处理方法中使用私有查询接口，学习者可访问一个解决原始（非公平）学习问题的私有子程序。
• 在 Communities and Crime 数据集上评估两种算法，测量在不同隐私参数（epsilon）下误差与公平性违规的帕累托前沿。

实验结果

研究问题

• RQ1 我们能否设计出在训练阶段无法获取受保护属性时，仍能同时满足差分隐私与公平性（相等机会）的机器学习算法？
• RQ2 在强制实施差分隐私与公平性时，隐私（epsilon）、公平性（公平性违规）与准确率（误差）之间的权衡是什么？
• RQ3 在测试时需要访问受保护属性是否能改善差分隐私下的可实现隐私-公平性-准确率权衡？
• RQ4 在差分隐私下，后处理与内处理方法的性能特征有何不同，尤其是在小样本数据集上？

主要发现

• 在小样本数据集上（m ≈ 2K），DP后处理算法实现了更优的隐私-公平性-准确率权衡，而内处理方法因隐私成本过高而表现不佳。
• DP-oracle-learner 算法虽可达到与后处理方法相同的帕累托曲线，但仅在小样本数据集上需使用极高的 epsilon 值，表明其存在可扩展性问题。
• 将数据集通过 10 倍上采样（至 m ≈ 20K）可使内处理方法实现有意义的隐私参数（epsilon），表明数据集大小对性能具有决定性影响。
• 避免在测试时使用受保护属性的要求显著增加了实现良好隐私-公平性-准确率权衡的难度，尤其是在结合差分隐私时。
• 尽管需要在测试时访问受保护属性，后处理方法在小样本数据集上仍优于内处理方法，表明为实现更优的隐私-准确率-公平性平衡，差异性对待可能是必要代价。