[论文解读] Comparing Population Means under Local Differential Privacy: with Significance and Power

Bolin Ding, Harsha Nori+2 more|arXiv (Cornell University)|Mar 24, 2018

Privacy-Preserving Technologies in Data被引用 12

一句话总结

本文提出两种面向局部微差隐私（LDP）的假设检验方法，用于比较总体均值，采用基于变换的方法，确保有界的第一类错误（显著性水平），并提供统计功效的理论下界。该方法可在不信任数据收集方的前提下实现私有A/B测试，即使在强隐私约束下也能实现可证明的误差控制。

ABSTRACT

A statistical hypothesis test determines whether a hypothesis should be rejected based on samples from populations. In particular, randomized controlled experiments (or A/B testing) that compare population means using, e.g., t-tests, have been widely deployed in technology companies to aid in making data-driven decisions. Samples used in these tests are collected from users and may contain sensitive information. Both the data collection and the testing process may compromise individuals' privacy. In this paper, we study how to conduct hypothesis tests to compare population means while preserving privacy. We use the notation of local differential privacy (LDP), which has recently emerged as the main tool to ensure each individual's privacy without the need of a trusted data collector. We propose LDP tests that inject noise into every user's data in the samples before collecting them (so users do not need to trust the data collector), and draw conclusions with bounded type-I (significance level) and type-II errors (1 - power). Our approaches can be extended to the scenario where some users require LDP while some are willing to provide exact data. We report experimental results on real-world datasets to verify the effectiveness of our approaches.

研究动机与目标

• 在不依赖用户信任数据收集方的前提下，实现局部微差隐私（LDP）下的私有A/B测试。
• 解决在LDP下估计样本方差的挑战，该问题对t检验至关重要，此前尚未解决。
• 为LDP保护下的假设检验提供第一类错误（显著性水平）和统计功效的理论保证。
• 支持混合隐私模型，其中部分用户要求LDP，而其他用户提供精确数据。
• 在不同隐私强度和样本量约束下，通过真实世界数据集实证验证所提检验方法的有效性。

提出的方法

• 提出一种基于变换的LDP检验方法，分析原始总体分布与LDP机制诱导的变换后分布之间的关系。
• 利用LDP保护样本的变换后分布，直接计算检验统计量和p值，避免依赖方差估计。
• 基于定理3推导在给定显著性水平下实现目标统计功效所需的样本量的解析边界。
• 提出一种混合LDP检验（$\mathfrak{T}^{\sf mix}_\varepsilon$），将LDP保护数据与非LDP用户提供的精确数据结合，按用户类型调整噪声水平。
• 为需要强隐私保护的用户引入一种二值LDP机制（$\mathfrak{T}^{\sf bin}_\varepsilon$），其噪声水平与$\varepsilon$-LDP相匹配。
• 通过真实世界数据集和不同均值差异（$\theta$）的合成A/B测试场景，验证检验的显著性与功效。

实验结果

研究问题

• RQ1 能否设计一种在局部微差隐私下用于比较总体均值的假设检验方法，以保证有界的第一类错误（显著性水平）？
• RQ2 在方差估计不可行的情况下，是否可能在LDP保护的t检验中实现可证明的统计功效下界？
• RQ3 在LDP保护的A/B测试中，所需样本量如何随隐私预算$\varepsilon$和均值差异$\theta$变化？
• RQ4 所提方法能否支持混合隐私模型，即仅部分用户需要LDP？
• RQ5 在不同隐私强度和样本量条件下，LDP检验的实证性能与错误率与非私有t检验相比如何？

主要发现

• 基于变换的LDP检验（$\mathfrak{T}^{\sf bin}_\varepsilon$）即使在大域大小和高$\varepsilon$值（如$\varepsilon = 5$）下，也能成功维持预设的显著性水平（$\alpha$）。
• 基于估计的LDP检验（$\mathfrak{T}^{\sf est}_\varepsilon$）在方差估计中表现出高方差，导致第一类错误显著高于目标$\alpha$，尤其在数据域大小$m$增大时更为明显。
• 当均值差异$\theta = 60$时，$\mathfrak{T}^{\sf bin}_\varepsilon$在$\varepsilon = 5$下所需样本量约为非私有Welch's $t$-检验的三倍，方能达到80%的功效。
• 通过定理3（公式11）推导的理论样本量估计提供了一个“安全”边界：该大小的样本在实验中始终能实现或超过目标功效0.8。
• 在混合设置中，减少LDP保护用户的比例可显著降低所需样本量：当50%用户为LDP保护时，样本量减半；当仅1%用户为LDP保护时，样本量趋近于非私有检验的要求。
• 混合检验$\mathfrak{T}^{\sf mix}_\varepsilon$有效平衡了隐私与效率，表明部分采用LDP可大幅减少样本量，而不会损害显著性或功效。