[论文解读] Blind Justice: Fairness with Encrypted Sensitive Attributes

Niki Kilbertus, Adrià Gascón+4 more|arXiv (Cornell University)|Jun 8, 2018

Privacy-Preserving Technologies in Data参考文献 37被引用 30

一句话总结

本文提出了一种基于安全多方计算（MPC）的框架，可在不暴露敏感属性（如种族、性别）的情况下实现公平的机器学习，同时确保隐私与公平性。通过加密敏感特征，并结合使用定点数算术的拉格朗日松弛法，该方法可认证公平性、训练公平模型并验证模型输出，同时为用户、建模者和监管机构提供密码学隐私保护。

ABSTRACT

Recent work has explored how to train machine learning models which do not discriminate against any subgroup of the population as determined by sensitive attributes such as gender or race. To avoid disparate treatment, sensitive attributes should not be considered. On the other hand, in order to avoid disparate impact, sensitive attributes must be examined, e.g., in order to learn a fair model, or to check if a given model is fair. We introduce methods from secure multi-party computation which allow us to avoid both. By encrypting sensitive attributes, we show how an outcome-based fair model may be learned, checked, or have its outputs verified and held to account, without users revealing their sensitive attributes.

研究动机与目标

• 解决在机器学习中强制执行公平性与保护用户敏感属性（如种族、性别）免于泄露之间的矛盾。
• 通过在不暴露敏感数据的情况下实现公平性检查，克服法律、伦理和隐私障碍（如GDPR限制）。
• 实现可审计的公平性认证、模型训练和结果验证，而无需暴露敏感属性或模型参数。
• 确保监管机构可在不访问原始敏感数据或建模者算法的情况下验证公平性合规性。
• 开发一种实用的MPC基础系统，在存在加密开销的情况下，仍能在真实世界数据集上保持准确性和效率。

提出的方法

• 使用安全多方计算（MPC）在加密的敏感属性上进行计算，确保任何一方（包括监管机构）都无法访问明文数值。
• 扩展MPC协议以支持公平性概念（如p%-规则、平等机会）所需的线性约束，采用拉格朗日松弛法进行优化。
• 通过预计算的乘法三元组实现定点数算术，以减少计算开销，并防止MPC中的溢出或下溢。
• 对非线性函数（如逻辑函数）应用分段线性近似，以保持准确性和与MPC约束的兼容性。
• 通过在每次梯度更新后检查公平性约束是否满足，将公平性认证集成到训练循环中。
• 通过允许用户使用经认证的模型来挑战模型输出，实现决策验证，确保部署模型与训练过的公平模型一致。

实验结果

研究问题

• RQ1 是否可以在不向任何一方（包括建模者和监管机构）暴露敏感属性的情况下，强制执行并验证机器学习中的公平性？
• RQ2 如何扩展安全多方计算以支持公平性约束（如p%-规则或平等机会）？
• RQ3 在真实世界数据集上使用MPC进行公平模型训练与认证时，计算开销与准确性的权衡如何？
• RQ4 是否可以使用加密的敏感属性训练出既公平又准确的模型，即使涉及多个敏感属性？
• RQ5 是否可行在不暴露模型或敏感数据的情况下，验证部署模型与先前认证的公平模型一致？

主要发现

• 结合定点数算术与分段线性近似的拉格朗日乘子法，在六个数据集上与基线SLSQP方法相比，准确率偏差小于4%。
• 公平性认证与模型验证在计算上非常高效，每次检查耗时不足一秒，即使在MPC环境中亦然。
• 在笔记本电脑上进行训练的时间比非MPC训练长几个数量级，但由于乘法三元组的离线预计算，仍保持可行性。
• 该方法在收紧公平性约束时，成功平衡了敏感群体（如z=0与z=1）的结果率，尤其在合成数据集和Bank数据集上表现显著。
• 在Bank数据集上，投影梯度法不可靠，而拉格朗日方法表现出一致性能，并在所有数据集中最为稳健。
• 在COMPAS数据集上，由于存在多个敏感属性，公平性约束更早被激活，但该方法仍实现了结果的平衡且准确率损失最小。