[论文解读] Sampling-Free Privacy Accounting for Matrix Mechanisms under Random Allocation

Jan Schuchardt, Nikita Kalinin|arXiv (Cornell University)|Jan 29, 2026

Privacy-Preserving Technologies in Data被引用 0

一句话总结

论文提出对矩阵机制在随机分配下的确定性、不使用抽样的隐私估计，使用 Rényi 发散和条件组合来替代蒙特卡洛方法并提供精确的 DP 保证。

ABSTRACT

We study privacy amplification for differentially private model training with matrix factorization under random allocation (also known as the balls-in-bins model). Recent work by Choquette-Choo et al. (2025) proposes a sampling-based Monte Carlo approach to compute amplification parameters in this setting. However, their guarantees either only hold with some high probability or require random abstention by the mechanism. Furthermore, the required number of samples for ensuring $(ε,δ)$-DP is inversely proportional to $δ$. In contrast, we develop sampling-free bounds based on Rényi divergence and conditional composition. The former is facilitated by a dynamic programming formulation to efficiently compute the bounds. The latter complements it by offering stronger privacy guarantees for small $ε$, where Rényi divergence bounds inherently lead to an over-approximation. Our framework applies to arbitrary banded and non-banded matrices. Through numerical comparisons, we demonstrate the efficacy of our approach across a broad range of matrix mechanisms used in research and practice.

研究动机与目标

• 为 DP 训练中球-桶随机分配下矩阵机制的隐私放大提供动机。
• 基于 Rényi 发散和条件组合开发不依赖采样的隐私会计方法。
• 为 DP-SGD 与一般矩阵机制提供具备可证明保证的高效算法。
• 分析计算复杂度并展示在不进行蒙特卡洛采样的情况下的确定性 DP 保证。

提出的方法

• 引入基于 Rényi 发散的对随机分配下支配机制对的估计。
• 开发动态规划以高效计算带状和非带状矩阵的 Rényi 上界。
• 应用条件组合处理由于噪声相关性导致的每一步贡献非独立的情况。
• 给出算法（算法1–4）以计算每一步的支配对并将其组合成整体 DP 保证。
• 将 Rényi 发散界转化为 (ε, δ)-DP 保证，使用定理 3.1 及相关界限。

(a) BandMF, $p=64$

实验结果

研究问题

• RQ1 在球-桶采样下，矩阵机制的隐私放大是否可以不借助蒙特卡洛采样而确定性实现？
• RQ2 如何利用 Rényi 发散和动态规划来推导相关噪声机制的紧凡隐私界？
• RQ3 在随机分配下矩阵机制的每步支配对是什么，如何有效应用条件组合？
• RQ4 所提出的无采样会计方法的计算复杂度如何，与蒙特卡洛方法相比有何差异？
• RQ5 所提方法是否能为 DP-SGD 与具有不同 C 矩阵（带状、逆带状等）的通用矩阵机制提供确定性 (ε, δ)-DP 保证？

主要发现

• 提出面向子采样矩阵机制的基于 Rényi 发散与条件组合的确定性隐私分析。
• 给出一个计算高效的 Rényi 会计方法，对于 p-带状的 C 其运行时间为 O(b α^{2p})，对于 DP-SGD 情况的 p=1 实现 O(b α^{2})。
• 算法1 在 C 为 p-带状时提供精确的 Rényi 发散计算，非带状时给出上界，从而实现无采样界。
• 算法2–4 实现逐步的支配对以及一个处理跨步共享随机性的条件组合框架。
• 在无需蒙特卡洛采样的情况下展示更 Tight 的确定性 DP 保证，并展示相比高隐私蒙特卡洛方法的计算改进。

(b) BSR, $p=64$