[论文解读] Locally private non-asymptotic testing of discrete distributions is faster using interactive mechanisms

Thomas B. Berrett, Cristina Butucea|arXiv (Cornell University)|May 26, 2020

Privacy-Preserving Technologies in Data参考文献 21被引用 13

一句话总结

本文在 $α$-局部差分隐私下建立了离散分布拟合优度检验的最优分离速率，证明了交互式隐私机制相比非交互式机制能实现显著更快的速率。论文提出一种两步交互式机制，先使用拉普拉斯噪声，再进行私有编码，实现了在均匀、幂律和指数衰减分布下的极小极大最优性能。

ABSTRACT

We find separation rates for testing multinomial or more general discrete distributions under the constraint of local differential privacy. We construct efficient randomized algorithms and test procedures, in both the case where only non-interactive privacy mechanisms are allowed and also in the case where all sequentially interactive privacy mechanisms are allowed. The separation rates are faster in the latter case. We prove general information theoretical bounds that allow us to establish the optimality of our algorithms among all pairs of privacy mechanisms and test procedures, in most usual cases. Considered examples include testing uniform, polynomially and exponentially decreasing distributions.

研究动机与目标

• 确定在 $α$-局部差分隐私下离散分布拟合优度检验的最优分离速率，确保当分布与原假设足够远时误差概率较低。
• 比较非交互式与交互式隐私机制在非渐近假设检验背景下的统计性能。
• 构建高效且统计最优的隐私机制与检验程序对，以在局部隐私约束下实现最快的分离速率。
• 证明信息论下界，以在大多数标准情形（包括均匀、幂律衰减和指数衰减分布）下确立所提方法的最优性。

提出的方法

• 提出一种两步交互式隐私机制：首先对样本前半部分应用拉普拉斯机制以估计分布概率；其次利用后半部分对这些估计值进行私有编码。
• 基于私有编码的估计值构建 $χ^{2}$-型检验统计量，以在局部差分隐私下执行拟合优度检验。
• 使用互信息和Fano型不等式推导一般信息论下界，以确立分离速率的极小极大最优性。
• 将该框架应用于特定分布：近似均匀分布、幂律衰减分布 ($p_0(j) \propto j^{-1-\beta}L(j)$) 和指数衰减分布 ($p_0(j) \propto \exp(-j^\beta)$)。
• 通过尾部和的渐近分析与积分近似，界定期望误差与分离速率，尤其针对重尾和稀疏分布。
• 引入阈值 $x_{n\alpha^2} = \inf\{x \geq 1 : L(x) < x^{3/4+\beta}/(n\alpha^2)^{1/2}\}$，以样本大小和隐私水平表征分离速率的上界。

实验结果

研究问题

• RQ1 在 $α$-局部差分隐私下，非渐近拟合优度检验的离散分布最优分离速率是什么？
• RQ2 在此设置中，交互式隐私机制相比非交互式机制如何提升分离速率？
• RQ3 所提出的交互式机制能否在不同分布类别下实现分离速率的极小极大最优性？
• RQ4 在局部差分隐私下，测试性能的信息论极限是什么？它们如何依赖于原假设分布的尾部行为？
• RQ5 所推导的界在多大程度上与现有隐私机制的性能匹配，特别是在非渐近范围内？

主要发现

• 交互式机制相比非交互式机制实现了更快的分离速率，尤其在重尾或稀疏尾部分布中提升最为显著。
• 对于幂律衰减分布 $p_0(j) \propto j^{-1-\beta}L(j)$，非交互式分离速率为 $\mathcal{E}_{n,\alpha}^{\mathrm{NI}}(p_0, \mathbb{L}_1) \lesssim \frac{\min(x_{n\alpha^2}, d)^{3/4}}{(n\alpha^2)^{1/2}}$，与下界仅相差对数因子。
• 对于指数衰减分布 $p_0(j) \propto \exp(-j^\beta)$，分离速率为 $\mathcal{E}_{n,\alpha}^{\mathrm{NI}}(p_0, \mathbb{L}_1) \lesssim \min\left\{\frac{\log^{3/(4\beta)}(n\alpha^2)}{(n\alpha^2)^{1/2}}, \frac{d^{3/4}}{(n\alpha^2)^{1/2}}\right\}$，且下界与之匹配。
• 下界分析表明，对于幂律尾部，$\mathcal{E}_{n,\alpha}^{\mathrm{NI}}(p_0, \mathbb{L}_1) \gtrsim \frac{\{(n\alpha^2)/\log(n\alpha^2)\}^{(3/4)/(2\beta+3/2)} \wedge d^{3/4}}{(n\alpha^2)^{1/2}}$，证明了近似最优性。
• 指数情形的下界与上界匹配，表明 $\mathcal{E}_{n,\alpha}^{\mathrm{NI}}(p_0, \mathbb{L}_1) \gtrsim \min\left\{\frac{\log^{3/(4\beta)}(n\alpha^2)}{\sqrt{n\alpha^2}}, \frac{d^{3/4}}{\sqrt{n\alpha^2}}\right\}$，确认了最优性。
• 结果为非渐近且适用于有限样本大小，因此适用于现实世界中的隐私保护统计检验。