[论文解读] From Robustness to Privacy and Back

Hilal Asi, Jonathan Ullman+1 more|arXiv (Cornell University)|Feb 3, 2023

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本文提出了一种基于反向敏感性机制的鲁棒性与差分隐私（DP）算法之间的双向转换方法。它引入了一种适用于连续输出的平滑反向敏感性机制，证明了任意鲁棒性算法均可转换为误差相近的ε-DP算法，反之亦然，从而在数据污染和差分隐私约束下的统计估计中，建立了鲁棒性与隐私之间的深刻对偶性。

ABSTRACT

We study the relationship between two desiderata of algorithms in statistical inference and machine learning: differential privacy and robustness to adversarial data corruptions. Their conceptual similarity was first observed by Dwork and Lei (STOC 2009), who observed that private algorithms satisfy robustness, and gave a general method for converting robust algorithms to private ones. However, all general methods for transforming robust algorithms into private ones lead to suboptimal error rates. Our work gives the first black-box transformation that converts any adversarially robust algorithm into one that satisfies pure differential privacy. Moreover, we show that for any low-dimensional estimation task, applying our transformation to an optimal robust estimator results in an optimal private estimator. Thus, we conclude that for any low-dimensional task, the optimal error rate for $\varepsilon$-differentially private estimators is essentially the same as the optimal error rate for estimators that are robust to adversarially corrupting $1/\varepsilon$ training samples. We apply our transformation to obtain new optimal private estimators for several high-dimensional tasks, including Gaussian (sparse) linear regression and PCA. Finally, we present an extension of our transformation that leads to approximate differentially private algorithms whose error does not depend on the range of the output space, which is impossible under pure differential privacy.

研究动机与目标

• 建立统计估计中鲁棒性与差分隐私之间的正式对偶性。
• 开发一种平滑反向敏感性机制，以实现连续函数的隐私保护输出。
• 证明任意鲁棒性算法可被转换为误差界相近的差分隐私算法。
• 提出一种截断型反向敏感性机制，以改善近似DP中对数据直径的依赖性。
• 证明隐私算法本身天然具备鲁棒性特性，从而完成对偶性的完整闭环。

提出的方法

• 使用ρ-平滑反向敏感性机制，定义概率密度函数为exp(−ε·len^ρ(S;t)/2)，其中len^ρ表示使f(S')与t的ρ-距离在ρ以内的最少数据点修改数。
• 将局部连续模ω_f(S;K)定义为在K-汉明距离扰动下，f(S)与f(S')之间偏差的最大值。
• 将指数机制应用于ρ-平滑路径长度函数作为得分函数，确保ε-差分隐私。
• 引入一种截断型反向敏感性机制，仅输出反向敏感性≤K的值，从而提升(ε,δ)-DP的隐私保障。
• 使用私有测试在应用截断机制前验证输入，通过受限指数机制框架确保(ε,δ)-差分隐私。
• 证明对于不在'坏'集合S_bad中的任意输入，该机制以高概率实现误差≤3B，并满足(ε,δ)-不可区分性。

实验结果

研究问题

• RQ1 能否系统性地将鲁棒性算法转换为误差相近的差分隐私算法？
• RQ2 反向敏感性机制如何弥合统计估计中鲁棒性与隐私之间的差距？
• RQ3 在连续输出中使用ρ-平滑反向敏感性机制时，误差与隐私之间的权衡关系如何？
• RQ4 通过截断反向敏感性函数，能否在近似DP中消除对数据直径的依赖？
• RQ5 每个差分隐私算法是否本质上具备鲁棒性？若成立，其条件是什么？

主要发现

• ρ-平滑反向敏感性机制确保了连续函数在输出范数≤R时，以(1−β)概率实现误差界为ω_f(S; (2(d log(R/ρ + 1) + log(1/β))/ε)) + ρ。
• 对于任意具有(τ,β,α)-鲁棒性的鲁棒性算法，若τ ≥ 2(d log(R/α₀ + 1) + log(1/β))/nε，则其转换后的ε-DP机制以≥1−2β的概率实现误差≤4α。
• 截断型反向敏感性机制实现了(ε,δ)-DP，且在输入不属于'坏'集合S_bad时，误差≤3B，其中ω_f(S;K+1) ≤ B。
• 从鲁棒性到隐私算法的转换过程，误差仅增加常数倍（4倍），体现了紧密的对偶性。
• 本文证明了任意ε-DP算法本质上具备鲁棒性，确认了对偶关系的反向成立。
• 在近似DP中，通过截断和私有测试，该方法避免了对直径R的依赖，从而提升了可扩展性。