[논문 리뷰] Sampling-Free Privacy Accounting for Matrix Mechanisms under Random Allocation

Jan Schuchardt, Nikita Kalinin|arXiv (Cornell University)|2026. 01. 29.

Privacy-Preserving Technologies in Data인용 수 0

한 줄 요약

본 논문은 랜덤 할당 하의 행렬 메커니즘에 대한 결정론적이고 샘플링 없는 프라이버시 계량을 제안하며, Rényi 발산과 조건 구성(composition)을 사용하여 몬테카를로 방법을 대체하고 정확한 DP 보장을 제공한다.

ABSTRACT

We study privacy amplification for differentially private model training with matrix factorization under random allocation (also known as the balls-in-bins model). Recent work by Choquette-Choo et al. (2025) proposes a sampling-based Monte Carlo approach to compute amplification parameters in this setting. However, their guarantees either only hold with some high probability or require random abstention by the mechanism. Furthermore, the required number of samples for ensuring $(ε,δ)$-DP is inversely proportional to $δ$. In contrast, we develop sampling-free bounds based on Rényi divergence and conditional composition. The former is facilitated by a dynamic programming formulation to efficiently compute the bounds. The latter complements it by offering stronger privacy guarantees for small $ε$, where Rényi divergence bounds inherently lead to an over-approximation. Our framework applies to arbitrary banded and non-banded matrices. Through numerical comparisons, we demonstrate the efficacy of our approach across a broad range of matrix mechanisms used in research and practice.

연구 동기 및 목표

• DP 학습에서 볼-인-빈(Balls-in-bins) 랜덤 할당 하의 행렬 메커니즘에 대한 프라이버시 증강의 필요성을 제시한다.
• Rényi 발산과 조건 구성에 기반한 샘플링 없는 프라이버시 회계사를 개발한다.
• DP-SGD와 일반 행렬 메커니즘에 대해 입증 가능한 보장을 갖는 효율적인 알고리즘을 제공한다.
• 계산 복잡성을 분석하고 몬테카를로 샘플링 없이도 결정론적 DP 보장을 입증한다.

제안 방법

• 랜덤 할당 하의 메커니즘 쌍의 지배(dominating) 쌍에 대해 Rényi-발산 기반 회계책을 도입한다.
• 밴드형 및 비밴드형 행렬에 대해 Rényi 경계를 효율적으로 계산하기 위한 동적 프로그래밍을 개발한다.
• 잡음 상관으로 인한 각 단계의 비독립적 기여를 다루기 위해 조건 구성(conditional composition)을 적용한다.
• 각 단계의 지배적 쌍을 계산하고 이를 전체 DP 보장으로 결합하는 알고리즘(Algorithms 1–4)을 제공한다.
• Rényi-발산 경계를 Theorem 3.1 및 관련 경계들을 사용해 (ε, δ)-DP 보장으로 변환한다.

(a) BandMF, $p=64$

실험 결과

연구 질문

• RQ1 볼-인-빈 샘플링에서의 행렬 메커니즘에 대한 프라이버시 증강을 몬테카를로 샘플링 없이도 결정론적으로 달성할 수 있는가?
• RQ2 Rényi 발산과 동적 프로그래밍을 어떻게 사용하여 상관 잡음 메커니즘에 대한 타이트한 프라이버시 경계를 계산할 수 있는가?
• RQ3 랜덤 할당 하의 행렬 메커니즘에서 각 단계의 지배적 쌍은 무엇이며, 조건 구성은 어떻게 효과적으로 적용할 수 있는가?
• RQ4 제안된 샘플링 없는 회계기의 계산 복잡도는 어느 정도이며, 몬테카를로 방법과 어떻게 비교되는가?
• RQ5 제안된 방법이 DP-SGD 및 다양한 C 행렬(밴드형, 역 밴드형 등)을 포함하는 일반 행렬 메커니즘에 대해 결정론적 (ε, δ)-DP 보장을 제공하는가?

주요 결과

• 샘플링된 행렬 메커니즘에 대한 결정론적이고 Rényi-발산 기반의 조건 구성 기반 프라이버시 분석을 제안한다.
• 밴드형 C에 대해 런타임 O(b α^{2p})의 계산적으로 효율적인 Rényi 계정 방법을 제시하고, p=1인 DP-SGD의 경우 O(b α^{2})를 달성한다.
• Algorithm 1은 C가 p-밴드일 때 정확한 Rényi 발산 계산을 제공하고, 그렇지 않으면 상한을 제시하여 샘플링 없는 경계가 가능하게 한다.
• Algorithm 2–4는 각 단계의 지배적 쌍과 단계 간 공유 난수 처리를 다루는 조건 구성 프레임워크를 가능하게 한다.
• 몬테카를로 샘플링 없이도 더 타이트하고 결정론적 DP 보장을 입증하며, 높은 프라이버시 몬테카를로 방법보다 계산이 향상됨을 보인다.

(b) BSR, $p=64$