[论文解读] Locally Private Gaussian Estimation

Matthew Joseph, Janardhan Kulkarni+2 more|arXiv (Cornell University)|Nov 20, 2018

Privacy-Preserving Technologies in Data参考文献 30被引用 17

一句话总结

本文提出了在已知和未知方差设置下，针对高斯分布均值估计的最优局部差分隐私协议。它引入了自适应两轮和非自适应一轮算法，实现了与信息论下界仅相差对数因子的紧密误差界，表明在此基本估计任务中，局部隐私相比全局隐私会带来 √n 的精度损失。

ABSTRACT

We study a basic private estimation problem: each of $n$ users draws a single i.i.d. sample from an unknown Gaussian distribution, and the goal is to estimate the mean of this Gaussian distribution while satisfying local differential privacy for each user. Informally, local differential privacy requires that each data point is individually and independently privatized before it is passed to a learning algorithm. Locally private Gaussian estimation is therefore difficult because the data domain is unbounded: users may draw arbitrarily different inputs, but local differential privacy nonetheless mandates that different users have (worst-case) similar privatized output distributions. We provide both adaptive two-round solutions and nonadaptive one-round solutions for locally private Gaussian estimation. We then partially match these upper bounds with an information-theoretic lower bound. This lower bound shows that our accuracy guarantees are tight up to logarithmic factors for all sequentially interactive $(\varepsilon,δ)$-locally private protocols.

研究动机与目标

• 解决在局部差分隐私下对高斯分布均值进行私有估计的根本性问题，其中每位用户的原始数据在传输前已被本地化加密。
• 设计交互轮数最少的高效协议，因为现实系统中顺序交互会因延迟和活跃性约束而成本高昂。
• 为已知方差和未知方差两种情形提供紧密的精度保证，其误差界与信息论下界仅相差对数因子。
• 建立一个强下界，表明任何局部私有协议在估计高斯均值时都无法实现优于 Ω(σ/(ε√n)) 的误差。
• 利用强数据处理不等式和 KL 散度工具，将下界扩展至完全交互式协议。

提出的方法

• 提出一种两轮自适应协议和一种一轮非自适应协议，用于在 (ε,0)-局部差分隐私下的局部私有高斯均值估计。
• 设计一种新颖的本地化机制，可自适应地调整数据规模，通过利用高斯分布结构避免最坏情况下的噪声假设。
• 采用基于测试的约化方法推导下界，将估计问题转化为一个简单的假设检验问题。
• 应用 Pinsker 不等式和 KL 散度，将统计距离与隐私约束关联，从而实现紧密的下界分析。
• 利用信息论中的强数据处理不等式，推导出在局部隐私下估计精度的根本限制。
• 通过 Joseph 等人 [18] 的最新结果，将下界扩展至完全交互式协议，表明 Ω(σ/(ε√n)) 的误差是不可避免的。

实验结果

研究问题

• RQ1 在局部私有高斯均值估计中，隐私、精度与轮复杂度之间的最优权衡是什么？
• RQ2 当方差已知或有界时，是否可以实现近似最优精度的一轮非交互式协议？
• RQ3 与全局差分隐私相比，局部差分隐私如何影响样本复杂度与估计误差？
• RQ4 在局部私有协议下，高斯分布估计精度的根本信息论极限是什么？
• RQ5 能否将顺序交互协议的下界扩展至完全交互式协议？

主要发现

• 在已知方差 σ 的情况下，两轮协议以概率 1−β 实现误差 O(σ/ε √(log(1/β)/n))，与全局隐私基线仅相差对数因子。
• 一轮协议以概率 1−β 实现误差 O(σ/ε √(log(1/β)√log(n)/n))，表明非交互设计仅带来微小代价。
• 当方差未知但有界于 [σ_min, σ_max] 时，两轮协议以高概率实现误差 O(σ/ε √(log(1/β)log(n)/n))。
• 在未知方差下，一轮协议实现误差 O(σ/ε √(log(σ_max/σ_min + 1) log(1/β) log^{3/2}(n)/n))，准确捕捉了尺度不确定性。
• 紧致下界表明，任何 (ε,δ)-局部私有协议在估计高斯均值时都无法实现优于 Ω(σ/(ε√n)) 的误差，即使在完全交互通信下亦然。
• 该下界可扩展至完全交互式协议，确认局部隐私带来的 √n 精度损失在此问题中不可避免。