[论文解读] Capacity Bounded Differential Privacy

Kamalika Chaudhuri, Jacob Imola+1 more|arXiv (Cornell University)|Jul 3, 2019

Privacy-Preserving Technologies in Data参考文献 31被引用 7

一句话总结

本文提出了容量有界差分隐私，这是差分隐私的一种松弛形式，限制攻击者仅能使用已知函数类（例如线性函数），从而建模机器学习中现实的攻击者能力。结果表明，在该定义下，常见的机制（如拉普拉斯和高斯机制）可获得更优的隐私保障，并通过受限 f-散度证明了改进的一般化和组合性质。

ABSTRACT

Differential privacy, a notion of algorithmic stability, is a gold standard for measuring the additional risk an algorithm's output poses to the privacy of a single record in the dataset. Differential privacy is defined as the distance between the output distribution of an algorithm on neighboring datasets that differ in one entry. In this work, we present a novel relaxation of differential privacy, capacity bounded differential privacy, where the adversary that distinguishes output distributions is assumed to be capacity-bounded -- i.e. bounded not in computational power, but in terms of the function class from which their attack algorithm is drawn. We model adversaries in terms of restricted f-divergences between probability distributions, and study properties of the definition and algorithms that satisfy them.

研究动机与目标

• 通过将威胁模型放宽为现实的、容量受限的攻击者，解决差分隐私机器学习中的高样本复杂度问题。
• 使用受限 f-散度建模隐私风险，其中攻击者被限制在已知函数类（例如线性模型）内，以反映现实世界中基于机器学习的攻击。
• 证明常见机制（拉普拉斯、高斯）在新定义下可获得更紧的隐私界。
• 在新框架下建立理论性质，如组合性、后处理不变性以及算法泛化性。
• 推进受限散度的理论研究，包括新版本的 Pinsker 不等式和数据处理不等式。

提出的方法

• 提出 $(\mathcal{H}, \Gamma)$-容量有界差分隐私，其中 $\mathcal{H}$ 为函数类，$\Gamma$ 为受限散度（例如 KL 或 Renyi 散度）。
• 将攻击者建模为仅限于 $\mathcal{H}$ 中的函数（如线性函数），以反映实际的后处理约束。
• 使用受限 f-散度度量隐私损失，从而分析在函数类受限攻击下的隐私性。
• 将该框架应用于标准机制（拉普拉斯、高斯），并证明在相同噪声水平下可获得更优的隐私保障。
• 证明特定类 $\mathcal{H}$ 下的理论结果，包括凸性、组合性及后处理不变性。
• 建立泛化界：$(\mathcal{H}, \mathbb{KL})$-私有算法可确保以 $O(\sqrt{\epsilon})$ 参数实现泛化。

实验结果

研究问题

• RQ1 能否通过限制攻击者的函数类而非计算能力，来有意义地松弛差分隐私？
• RQ2 标准隐私机制（如拉普拉斯和高斯）在容量有界定义下是否能获得更好的隐私保障？
• RQ3 容量有界差分隐私下，哪些理论性质（如组合性与后处理）成立？
• RQ4 容量有界隐私能否确保算法泛化？若是，其收敛速率如何？
• RQ5 对于受限 f-散度，可推导出哪些新性质，例如类 Pinsker 不等式？

主要发现

• 在相同噪声尺度下，拉普拉斯和高斯机制在容量有界差分隐私下相比标准差分隐私展现出更强的隐私保障。
• 当在容量有界框架下分析时，矩阵机制提供了改进的隐私保障。
• 对于任意查询类 $\mathcal{Q}$，存在一个函数类 $\mathcal{H}$，使得 $\mathcal{H}$-受限 $\mathbb{KL}$-隐私可确保以 $O(\sqrt{\epsilon})$ 参数实现泛化。
• 在 $\mathcal{H}$ 满足特定条件时，该框架支持凸性、平滑组合性及后处理不变性。
• 为受限散度建立了新的 Pinsker 不等式和数据处理不等式版本，推动了信息几何的发展。
• 受限散度框架能够对函数类受限攻击者下的隐私损失进行清晰刻画，为计算或统计松弛提供一种实用的替代方案。