[论文解读] Differentially private sub-Gaussian location estimators

Marco Avella-Medina, Victor-Emmanuel Brunel|arXiv (Cornell University)|Jun 27, 2019

Privacy-Preserving Technologies in Data参考文献 25被引用 10

一句话总结

本文提出了两种新颖的差分隐私中位数估计器，可在不假设有界数据或有限二阶矩的前提下实现次高斯偏差界。第一种方法结合平滑敏感度与数据截断；第二种方法采用隐私保护的 propose-test-release 机制以避免截断，两者均在最小假设下实现了最优的次高斯误差率。

ABSTRACT

We tackle the problem of estimating a location parameter with differential privacy guarantees and sub-Gaussian deviations. Recent work in statistics has focused on the study of estimators that achieve sub-Gaussian type deviations even for heavy tailed data. We revisit some of these estimators through the lens of differential privacy and show that a naive application of the Laplace mechanism can lead to sub-optimal results. We design two private algorithms for estimating the median that lead to estimators with sub-Gaussian type errors. Unlike most existing differentially private median estimators, both algorithms are well defined for unbounded random variables that are not even required to have finite moments. We then turn to the problem of sub-Gaussian mean estimation and show that under heavy tails natural differentially private alternatives lead to strictly worse deviations than their non-private sub-Gaussian counterparts. This is in sharp contrast with recent results that show that from an asymptotic perspective the cost of differential privacy is negligible.

研究动机与目标

• 解决无界、重尾数据下缺乏具有次高斯偏差的差分隐私位置估计器的问题。
• 克服在差分隐私下对中位数和均值估计直接应用拉普拉斯机制的局限性。
• 设计在数据缺乏有限二阶矩或有界支撑时仍能保持次高斯误差率的私有估计器。
• 证明标准私有均值估计器在重尾分布下无法达到其非私有对应版本的次高斯性能。
• 为私有鲁棒估计提供一个框架，尤其适用于低矩情形下的次高斯型性能。

提出的方法

• 将 [28] 中的平滑敏感度校准方法适配至无界数据的中位数估计问题，通过截断控制敏感度。
• 提出一种 propose-test-release 机制，先私密检查数据配置是否有利，再发布带噪声的中位数估计。
• 采用隐私预算分配策略，确保误差的高概率控制，同时避免数据截断。
• 在对块均值进行截断后，对中位数-均值估计器应用拉普拉斯机制，确保有界的平滑敏感度。
• 通过基于块均值期望分离度设置阈值 η，控制 propose-test-release 框架中 '无回复' 的概率。
• 证明所得到的估计器以高概率 1−α 实现次高斯误差界，其阶为 √(log(2/α)/n)。

实验结果

研究问题

• RQ1 在不假设数据有界或具有有限二阶矩的前提下，差分隐私中位数估计器能否实现次高斯偏差？
• RQ2 为何在无界数据下对中位数估计直接应用拉普拉斯机制会失败？
• RQ3 能否将 propose-test-release 范式适配至中位数估计，以在不进行数据截断的情况下实现次高斯误差界？
• RQ4 差分隐私版本的标准次高斯均值估计器（如中位数-均值、截断均值）是否能保持其非私有对应版本的最优次高斯误差率？
• RQ5 在重尾分布下，是否存在私有与非私有次高斯估计之间根本性的性能差距？

主要发现

• 基于平滑敏感度的截断估计器以高概率 1−α 实现阶为 √(log(2/α)/n) 的次高斯误差界。
• 基于 propose-test-release 的估计器避免了数据截断，仍能通过私密验证有利数据配置，实现相同的次高斯误差率。
• 由于全局敏感度和平滑敏感度均为无穷大，即使局部敏感度有限，朴素的拉普拉斯机制在中位数估计中仍会失败。
• 在重尾分布下，标准次高斯均值估计器的差分隐私版本（如中位数-均值、截断均值）无法实现次高斯偏差，而其非私有版本可以。
• 截断中位数-均值估计器的平滑敏感度被限制在 2T 以内，当 T 相对于数据尺度适切选择时，可提供隐私保障。
• 对于 propose-test-release 机制，通过将 η 设为 1/√(nα) 量级，可将 '无回复' 的概率保持在较低水平，从而确保高概率的实用性。