[论文解读] How to Make Your Approximation Algorithm Private: A Black-Box Differentially-Private Transformation for Tunable Approximation Algorithms of Functions with Low Sensitivity

Jeremiah Blocki, Elena Grigorescu+2 more|arXiv (Cornell University)|Oct 7, 2022

Advanced Data Storage Technologies被引用 2

一句话总结

本文提出了一种黑箱差分隐私转换方法，适用于全局敏感度较低的可调近似算法，从而实现私有化的亚线性时间与亚线性空间算法。通过利用平滑敏感度与后处理技术，该方法在保持乘法近似保证的前提下实现了 (ε, δ)-差分隐私，首次实现了针对三角形计数、连通分量以及最小生成树权重估计的 ε-差分隐私亚线性时间算法，同时也实现了针对 Lp-范数与不同元素数的私有滑动窗口算法。

ABSTRACT

We develop a framework for efficiently transforming certain approximation algorithms into differentially-private variants, in a black-box manner. Specifically, our results focus on algorithms A that output an approximation to a function f of the form $(1-a)f(x)-k \leq A(x) \leq (1+a)f(x)+k$, where $k \in \mathbb{R}_{\geq 0}$ denotes additive error and $a \in [0,1)$ denotes multiplicative error can be``tuned" to small-enough values while incurring only a polynomial blowup in the running time/space. We show that such algorithms can be made DP without sacrificing accuracy, as long as the function f has small global sensitivity. We achieve these results by applying the smooth sensitivity framework developed by Nissim, Raskhodnikova, and Smith (STOC 2007). Our framework naturally applies to transform non-private FPRAS and FPTAS algorithms into $ε$-DP approximation algorithms where the former case requires an additional postprocessing step. We apply our framework in the context of sublinear-time and sublinear-space algorithms, while preserving the nature of the algorithm in meaningful ranges of the parameters. Our results include the first (to the best of our knowledge) $ε$-edge DP sublinear-time algorithm for estimating the number of triangles, the number of connected components, and the weight of a minimum spanning tree of a graph. In the area of streaming algorithms, our results include $ε$-DP algorithms for estimating Lp-norms, distinct elements, and weighted minimum spanning tree for both insertion-only and turnstile streams. Our transformation also provides a private version of the smooth histogram framework, which is commonly used for converting streaming algorithms into sliding window variants, and achieves a multiplicative approximation to many problems, such as estimating Lp-norms, distinct elements, and the length of the longest increasing subsequence.

研究动机与目标

• 开发一种通用的黑箱方法，将非私有的近似算法转换为差分隐私版本。
• 在资源受限环境（如亚线性时间与亚线性空间算法）中保持准确性和效率。
• 为具有可调乘法与加法误差的近似算法提供差分隐私保障。
• 将平滑直方图框架扩展至差分隐私设置，以支持滑动窗口工作负载。
• 在不牺牲原始算法效率或近似质量的前提下，实现有意义的隐私-准确度权衡。

提出的方法

• 将 Nissim、Raskhodnikova 与 Smith（STOC 2007）提出的平滑敏感度框架应用于基于局部敏感度控制噪声注入。
• 通过添加与函数 f 的全局敏感度成比例的噪声，将任意 (1±α)f(x)±κ 近似算法转换为差分隐私版本。
• 利用后处理技术优化输出结果，尤其在 FPRAS 与 FPTAS 算法中提升准确性。
• 整合平滑直方图框架，将流式算法转换为差分隐私下的滑动窗口变体。
• 采用通过子采样与组合实现的隐私放大技术，以实现小 ε 与 δ 的 (ε, δ)-差分隐私。
• 调节参数如 α、ε、δ 与窗口大小 W，以平衡隐私、准确度与空间/时间复杂度。

实验结果

研究问题

• RQ1 是否可以通过黑箱转换将非私有的近似算法转化为差分隐私版本，同时保持准确度与效率？
• RQ2 函数 f 与算法 A 需满足何种充分条件，以确保私有化转换后仍保持原始近似保证？
• RQ3 平滑敏感度框架能否有效应用于亚线性时间与流式算法，以实现低开销的差分隐私？
• RQ4 如何将平滑直方图框架扩展至支持滑动窗口工作负载下的差分隐私？
• RQ5 对于低全局敏感度的近似问题，实现 (ε, δ)-差分隐私所需的最小空间与时间成本是多少？

主要发现

• 该框架首次实现了针对图中三角形数量、连通分量数量以及最小生成树权重估计的 ε-差分隐私亚线性时间算法。
• 首次实现了针对 Lp-范数、Fp 矩阵与不同元素数估计的 ε-差分隐私滑动窗口算法，具有 (1±α) 的乘法近似与 O(log m / ε) 的有界加法误差。
• 在不同元素数估计中，算法的空间复杂度为 O(1/α³η³ log⁵ n)，其中隐私参数 ε 为常数，δ = 1/mᶜ。
• 对于 Lp-范数估计（p ∈ (0,2]），空间复杂度为 ˜O(1/α²η² log⁵ n log³(1/αη))（当 p=2 时）与 ˜O(1/α²η² log⁵ n)（当 p∈(0,2) 时），且具有高概率准确性。
• 该框架支持平滑直方图框架的私有化版本，适用于最长递增子序列与滑动窗口中不同元素数等任务的乘法近似。
• 该转换仅导致运行时间与空间的多项式级膨胀，并在低全局敏感度条件下保持原始算法的近似质量。