[论文解读] Decision Making with Differential Privacy under a Fairness Lens

Ferdinando Fioretto, Cuong Dinh Tran+1 more|arXiv (Cornell University)|May 16, 2021

Privacy-Preserving Technologies in Data参考文献 17被引用 5

一句话总结

本文研究了在人口普查数据发布中使用差分隐私（DP）可能如何在下游资源分配决策中引入不公平性，特别是对代表性不足群体造成不利影响。本文提出了形式化的公平性定义，识别了决策规则中不公平性的结构性成因，并提出了缓解策略，如改进的后处理方法和预算调整，以在保持隐私的同时减少不公平性。

ABSTRACT

Agencies, such as the U.S. Census Bureau, release data sets and statistics about groups of individuals that are used as input to a number of critical decision processes. To conform to privacy and confidentiality requirements, these agencies are often required to release privacy-preserving versions of the data. This paper studies the release of differentially private data sets and analyzes their impact on some critical resource allocation tasks under a fairness perspective. {The paper shows that, when the decisions take as input differentially private data}, the noise added to achieve privacy disproportionately impacts some groups over others. The paper analyzes the reasons for these disproportionate impacts and proposes guidelines to mitigate these effects. The proposed approaches are evaluated on critical decision problems that use differentially private census data.

研究动机与目标

• 理解在人口普查数据发布中使用差分隐私可能如何在关键决策过程中对某些群体造成不成比例的影响。
• 在差分隐私约束下，正式定义公平性和有界公平性。
• 识别影响资源分配规则中不公平性的结构性因素，如谓词组合和后处理。
• 提出实用的缓解策略，以在保持强隐私保证的同时减少不公平性。
• 量化隐私的成本，即为避免因DP噪声导致的负向分配而需增加的预算。

提出的方法

• 提出在差分隐私下决策中公平性和有界公平性的正式框架，定义公平性违规保持有限的条件。
• 以资金分配、语言援助和疫苗分发等决策问题作为案例研究，评估公平性影响。
• 引入改进的后处理技术，调整噪声输出以确保非负向分配，减少归一化带来的偏差。
• 使用隐私成本度量来量化为避免因差分隐私导致的负向分配而需增加的预算，定义为绝对负向分配之和乘以基础预算。
• 采用基于采样的误差估计（10^4个样本）来评估不同机制下平均绝对误差和公平性影响。
• 应用逻辑组合分析，以理解在差分隐私下，决策规则中布尔谓词的组合如何影响公平性。

实验结果

研究问题

• RQ1 在何种条件下，使用差分隐私数据的决策问题表现出有界公平性违规？
• RQ2 决策规则中逻辑谓词的组合在应用于差分隐私数据时，如何影响公平性？
• RQ3 决策规则中的哪些结构性组件——如归一化或后处理——最可能导致DP保护数据中的不公平性？
• RQ4 改进的后处理在不损害隐私保证的前提下，能在多大程度上减少不公平性？
• RQ5 为消除差分隐私导致的负向分配，所需的资金成本（以预算增加衡量）是多少？

主要发现

• 若干高影响力决策问题，如教育资金分配和疫苗分发，在使用差分隐私人口普查数据时表现出固有的不公平性。
• DP机制中的后处理归一化引入了偏差，对规模较小或代表性不足的群体造成不成比例的惩罚，加剧了不公平性。
• 避免归一化的改进后处理方法可显著减少不公平性，且对平均绝对误差的影响极小，经实证评估验证。
• 隐私成本（即为防止负向分配而需增加的预算）可能非常大——例如，在某些机制下，纽约县的预算增加可达12亿美元。
• 决策规则中的谓词组合显著影响公平性，复杂的逻辑组合会放大DP噪声带来的偏差。
• 本文证明，DP中的公平性问题不仅源于数据收集，也根植于决策规则和机制的设计本身。