[论文解读] Disparate Impact in Differential Privacy from Gradient Misalignment

Maria S. Esipova, Atiyeh Ashari Ghomi+2 more|arXiv (Cornell University)|Jun 15, 2022

Privacy-Preserving Technologies in Data被引用 7

一句话总结

本文将差分隐私随机梯度下降（DPSGD）中因不均衡梯度裁剪导致的梯度错位识别为受保护群体间不公平影响的主要原因。提出了一种新型DPSGD变体DPSGD-Global-Adapt，通过全局方式对齐梯度，无需使用受保护群体标签，显著降低了各群体间的公平性差异，尤其在代表性不足的群体中提升了模型效用。

ABSTRACT

As machine learning becomes more widespread throughout society, aspects including data privacy and fairness must be carefully considered, and are crucial for deployment in highly regulated industries. Unfortunately, the application of privacy enhancing technologies can worsen unfair tendencies in models. In particular, one of the most widely used techniques for private model training, differentially private stochastic gradient descent (DPSGD), frequently intensifies disparate impact on groups within data. In this work we study the fine-grained causes of unfairness in DPSGD and identify gradient misalignment due to inequitable gradient clipping as the most significant source. This observation leads us to a new method for reducing unfairness by preventing gradient misalignment in DPSGD.

研究动机与目标

• 调查差分隐私随机梯度下降（DPSGD）中不公平影响的细粒度成因。
• 识别出由于梯度裁剪不均衡导致的梯度错位是DPSGD中不公平性的主导来源。
• 开发一种在不访问受保护群体标签的情况下减少不公平影响的方法。
• 通过在私有训练过程中对齐各群体间的梯度，提升模型效用与公平性。
• 验证最小化梯度方向误差比减少幅度误差或噪声误差更有效于实现公平性。

提出的方法

• 提出一种DPSGD变体，采用基于所有群体中最大梯度范数的全局裁剪阈值，而非按群体分别裁剪。
• 引入一种自适应裁剪机制，根据训练过程中观测到的梯度范数动态调整上界$ Z $。
• 应用一种全局梯度对齐策略，保留各群体中未裁剪梯度的方向，减少错位。
• 采用一种改进的噪声注入方案，在保持差分隐私的同时最小化方向误差。
• 采用学习率调优策略，平衡较大学习率带来的噪声误差增加与幅度误差和方向误差的减少。
• 训练过程中完全避免使用受保护群体标签，确保不存在差别对待。

实验结果

研究问题

• RQ1 差分隐私随机梯度下降（DPSGD）中不公平影响的主要原因是什么？
• RQ2 由于按群体裁剪导致的梯度错位如何加剧受保护群体间的不公平性？
• RQ3 是否可以在不访问受保护群体成员信息的情况下实现梯度对齐？
• RQ4 减少梯度中的方向误差是否比减少幅度或噪声误差更能提升公平性与效用？
• RQ5 全局裁剪策略是否能在保持隐私保证的前提下，优于按群体裁剪以减少不公平影响？

主要发现

• 由于激进且不均衡的裁剪导致的梯度错位，是DPSGD中不公平影响的最显著原因，其对不公平性的贡献超过幅度误差和噪声误差。
• 与标准DPSGD相比，所提出的DPSGD-Global-Adapt方法将不同受保护群体间的隐私成本差距减少了高达50%，且在公平性度量上具有统计显著性提升。
• 在Adult数据集上，DPSGD-Global-Adapt实现了79.4% ± 0.1的准确率，并将由梯度错位引起的过度风险降低了70%。
• 该方法在准确率和公平性方面均优于DPSGD-F与DPSGD-Global，在Dutch数据集上实现了0.5%的准确率绝对提升和风险差距降低0.05。
• 尽管噪声引起的误差增加了20%，全局方法仍取得了更优的最终性能，证实方向误差是主导的公平性瓶颈。
• 该方法是唯一一种测试中无需受保护群体标签的方法，消除了差别对待的风险，同时仍有效降低了不公平影响。