[论文解读] Constant matters: Fine-grained Complexity of Differentially Private Continual Observation

Cheung, Tsun-Ming, Hatami, Hamed+2 more|arXiv (Cornell University)|Feb 23, 2022

Stochastic Gradient Optimization Techniques被引用 3

一句话总结

本文提出了一种基于下三角分解的矩阵机制，用于二进制计数的差分隐私持续观测，实现了具有显式有界常数的平滑、单调的加法误差。该工作首次使用完全有界范数（completely bounded norm）为多种问题（包括直方图维护、图统计和子串计数）提供了细粒度的误差界，并在持续发布模型下建立了 (ϵ, δ)-差分隐私计数的首个下界。

ABSTRACT

In an influential paper, Linial and Shraibman (STOC '07) introduced the factorization norm as a powerful tool for proving lower bounds against randomized and quantum communication complexities. They showed that the logarithm of the approximate γ₂-factorization norm is a lower bound for these parameters and asked whether a stronger lower bound that replaces approximate γ₂ norm with the γ₂ norm holds. We answer the question of Linial and Shraibman in the negative by exhibiting a 2ⁿ×2ⁿ Boolean matrix with γ₂ norm 2^Ω(n) and randomized communication complexity O(log n). As a corollary, we recover the recent result of Chattopadhyay, Lovett, and Vinyals (CCC '19) that deterministic protocols with access to an Equality oracle are exponentially weaker than (one-sided error) randomized protocols. In fact, as a stronger consequence, our result implies an exponential separation between the power of unambiguous nondeterministic protocols with access to Equality oracle and (one-sided error) randomized protocols, which answers a question of Pitassi, Shirley, and Shraibman (ITSC '23). Our result also implies a conjecture of Sherif (Ph.D. thesis) that the γ₂ norm of the Integer Inner Product function (IIP) in dimension 3 or higher is exponential in its input size.

研究动机与目标

• 解决差分隐私持续计数机制中加法误差的显式常数界缺失问题。
• 设计一种可扩展、平滑且可解释的二进制计数机制，在持续发布下具有可证明的隐私性。
• 利用计数矩阵的完全有界范数（cb-norm），提供加法误差的显式、紧致的上下界。
• 通过利用下三角矩阵分解，将矩阵机制的适用性扩展到持续观测场景。
• 在持续发布模型下，建立 (ϵ, δ)-差分隐私计数的加法误差的首个下界。

提出的方法

• 使用矩阵机制，并对计数矩阵 Mcount 进行一种新颖的显式分解，将其分解为下三角矩阵。
• 应用完全有界范数（cb-norm）分析，推导出误差的紧致上下界。
• 采用高斯噪声实现差分隐私，支持可证明的 (ϵ, δ)-DP，且实现简单、可验证。
• 推导出在更新次数上单调且平滑的误差界，相较于以往非平滑机制，显著提升了可解释性。
• 将该框架应用于多个问题：二进制计数、直方图估计、保留割的合成图、图统计、子串计数和事件计数。
• 通过理论分析，首次推导出在持续发布模型下 (ϵ, δ)-DP 的加法误差下界。

实验结果

研究问题

• RQ1 我们能否为差分隐私持续计数机制实现细粒度且与常数相关的误差界？
• RQ2 当使用下三角分解时，矩阵机制在持续观测下的表现如何？
• RQ3 差分隐私持续计数的精确加法误差行为——特别是其平滑性与单调性——是怎样的？
• RQ4 我们能否首次推导出在持续发布模型下 (ϵ, δ)-差分隐私计数的加法误差下界？
• RQ5 所提出的边界在多大程度上可推广至直方图维护和图统计等多样化问题？

主要发现

• 本文首次在差分隐私持续计数的加法误差界中显式引入常数，解决了长期存在的细粒度分析空白。
• 所提出的机制实现了平滑且单调的加法误差函数，与经典二进制机制的非平滑行为形成鲜明对比。
• 矩阵分解仅需 O(T) 空间，且由两个具有简单、规律非零元素结构的下三角矩阵构成。
• 在二进制计数中，该机制在信噪比（SNR）上实现了常数因子的改进，使得在信号稀疏度为二进制机制三倍时仍能可靠运行。
• 实验表明，该机制在直方图估计中相比二进制机制将信噪比提升了约三倍，且绝对误差始终更低。
• 该框架可推广至多样化问题：合成图生成、图统计、子串计数和事件计数，所有问题均具有显式误差界。