[论文解读] Exact Optimality of Communication-Privacy-Utility Tradeoffs in Distributed Mean Estimation

Berivan Isik, Weining Chen+3 more|arXiv (Cornell University)|Jun 8, 2023

Privacy-Preserving Technologies in Data被引用 4

一句话总结

本文提出了一种在共享随机性下针对分布式均值估计的通信-隐私-效用最优机制，引入了k近邻编码的随机旋转单纯形编码（RRSC）。通过证明旋转对称码书——特别是随机旋转的单纯形——在达到最优均方误差的同时，实现最小通信量与严格的本地差分隐私约束，从而证明了其精确最优性。

ABSTRACT

We study the mean estimation problem under communication and local differential privacy constraints. While previous work has proposed \emph{order}-optimal algorithms for the same problem (i.e., asymptotically optimal as we spend more bits), \emph{exact} optimality (in the non-asymptotic setting) still has not been achieved. In this work, we take a step towards characterizing the \emph{exact}-optimal approach in the presence of shared randomness (a random variable shared between the server and the user) and identify several conditions for \emph{exact} optimality. We prove that one of the conditions is to utilize a rotationally symmetric shared random codebook. Based on this, we propose a randomization mechanism where the codebook is a randomly rotated simplex -- satisfying the properties of the \emph{exact}-optimal codebook. The proposed mechanism is based on a $k$-closest encoding which we prove to be \emph{exact}-optimal for the randomly rotated simplex codebook.

研究动机与目标

• 填补在联合通信与本地差分隐私（LDP）约束下，分布式均值估计中精确最优性的研究空白。
• 刻画在存在共享随机性时，实现精确最优性的必要条件。
• 设计一种机制，实现在非渐近设置下的精确最优性，而不仅限于阶最优性。
• 设计一种码书生成策略，以在满足LDP与通信约束的前提下，最大化码字之间的分离度。
• 证明所提出的方案在通信预算增加时，渐近逼近已知最优机制PrivUnit。

提出的方法

• 将问题形式化为在ε-LDP约束下使用共享随机性的有损压缩任务。
• 引入“使用码书的随机编码”作为最优框架，其中服务器与用户共同使用共享随机性生成大小为M=2^b的码书。
• 证明为实现精确最优性，码书生成分布必须具有旋转对称性。
• 提出随机旋转单纯形编码（RRSC），其中码书是正则单纯形的均匀随机旋转。
• 实现k近邻编码：用户选择与输入向量最近的k个码字，并赋予更高的采样概率。
• 证明该编码在ε-LDP与b比特通信约束下，对RRSC码书实现精确最优性。

实验结果

研究问题

• RQ1 在共享随机性下，分布式均值估计中实现精确最优性的码书生成分布需满足何种条件？
• RQ2 能否构造一种机制，在联合通信与ε-LDP约束下实现精确最优性（而非仅阶最优性）？
• RQ3 使用旋转对称码书——特别是随机旋转的单纯形——如何改善效用与隐私之间的权衡？
• RQ4 所提出的RRSC机制与现有阶最优机制（如PrivUnit或MMRC）之间存在何种关系？
• RQ5 当码字数量M超过输入维度d时，所提出的方案是否可扩展？

主要发现

• 在共享随机性下，实现精确最优的码书生成分布必须具有旋转对称性，即在随机旋转下保持不变。
• 采用k近邻编码的随机旋转单纯形编码（RRSC）在给定通信与隐私约束下实现精确最优性。
• 所提出的机制实现的均方误差（MSE）与理论下界完全一致，因此在非渐近范围内为精确最优。
• 当通信预算满足b ≤ log d（即M < d）时，RRSC码书有效且因码字间最大分离度而实现最优性能。
• 随着通信预算b的增加，所提方案渐近收敛至PrivUnit，即在ε-LDP下已知的最优机制。
• 当M ≥ d时，可通过在球面上使用近乎最大分离的M个向量对方案进行扩展，同时在相同约束下保持最优性。