[論文レビュー] Sampling-Free Privacy Accounting for Matrix Mechanisms under Random Allocation

Jan Schuchardt, Nikita Kalinin|arXiv (Cornell University)|Jan 29, 2026

Privacy-Preserving Technologies in Data被引用数 0

ひとこと要約

論文は、Rényi散度と条件付き合成を用いて乱択割当に対するマトリクス機構の決定論的なサンプリング不要なプライバシー計測を提案し、モンテカルロ法を置換して正確なDP保証を提供する。

ABSTRACT

We study privacy amplification for differentially private model training with matrix factorization under random allocation (also known as the balls-in-bins model). Recent work by Choquette-Choo et al. (2025) proposes a sampling-based Monte Carlo approach to compute amplification parameters in this setting. However, their guarantees either only hold with some high probability or require random abstention by the mechanism. Furthermore, the required number of samples for ensuring $(ε,δ)$-DP is inversely proportional to $δ$. In contrast, we develop sampling-free bounds based on Rényi divergence and conditional composition. The former is facilitated by a dynamic programming formulation to efficiently compute the bounds. The latter complements it by offering stronger privacy guarantees for small $ε$, where Rényi divergence bounds inherently lead to an over-approximation. Our framework applies to arbitrary banded and non-banded matrices. Through numerical comparisons, we demonstrate the efficacy of our approach across a broad range of matrix mechanisms used in research and practice.

研究の動機と目的

• DP訓練における balls-in-bins ランダム割り当て下のマトリクス機構のプライバシー増幅を動機付ける。
• Rényi散度と条件付き合成に基づくサンプリング不要のプライバシー計算機を開発する。
• DP-SGDと一般的なマトリクス機構に対して保証付きの効率的なアルゴリズムを提供する。
• 計算複雑性を分析し、モンテカルロサンプリングなしで決定論的なDP保証を示す。

提案手法

• 乱択割り当て下の支配的な機構対に対するRényi散度に基づく計算を導入する。
• 帯状および非帯状行列のRényi境界を効率的に計算するための動的計画法を開発する。
• ノイズ相関による各ステップの寄与の非独立性を扱うために条件付き合成を適用する。
• 各ステップの支配的な対を計算し、それらを組み合わせて全体のDP保証へと結合するアルゴリズム（アルゴリズム1–4）を提供する。
• Rényi散度境界を定理3.1および関連境界を用いて（ε, δ）-DP保証へ変換する。

(a) BandMF, $p=64$

実験結果

リサーチクエスチョン

• RQ1 balls-in-binsサンプリング下のマトリクス機構のプライバシー増幅をモンテカルロサンプリングなしで決定論的に達成できるか。
• RQ2 Rényi散度と動的計画法を用いて相関ノイズ機構の厳密なプライバシー境界を計算できるか。
• RQ3 乱択割り当て下のマトリクス機構の各ステップの支配的対とは何か、条件付き合成をどのように効果的に適用できるか。
• RQ4 提案手法の計算複雑性はどれくらいか、モンテカルロ法と比較してどうか。
• RQ5 提案手法は DP-SGD や一般のマトリクス機構（帯状、逆帯状などの C 行列を含む）に対して決定論的な（ε, δ）-DP保証を与えるか。

主な発見

• サブサンプルされたマトリクス機構に対するRényi散度ベースおよび条件付き合成ベースの決定論的プライバシー解析を提案。
• 帯状の C に対して計算的に効率的な Rényi計算法を提供し、p=1 の DP-SGD ケースで O(b α^{2}) の実行時間を達成する。
• アルゴリズム1は C が p-帯状のときRényi発散を厳密に計算し、それ以外は上界を与えることでサンプリング不要の境界を可能にする。
• アルゴリズム2–4は各ステップの支配的対と共有乱数の扱いのための条件付き合成フレームワークを提供する。
• モンテカルロサンプリングを用いないより厳密で決定論的なDP保証を示し、高プライバシーのモンテカルロ法よりも計算性能が改善されることを示す。

(b) BSR, $p=64$