[論文レビュー] General Gaussian Noise Mechanisms and Their Optimality for Unbiased Mean Estimation

Aleksandar Nikolov, Haohua Tang|arXiv (Cornell University)|Jan 31, 2023

Privacy-Preserving Technologies in Data被引用数 1

ひとこと要約

本稿は、高次元における不偏微分プライバシー平均推定におけるガウスノイズ機構の最適性を確立する。ℓpノルム誤差下での最適共分散行列を導出し、先行研究の対称的ポリトープから任意の有界領域へ一般化し、集中型および近似型微分プライバシー下で、すべての不偏プライベート推定器の中でガウス機構が最小誤差にほぼ達していることを証明する。

ABSTRACT

We investigate unbiased high-dimensional mean estimators in differential privacy. We consider differentially private mechanisms whose expected output equals the mean of the input dataset, for every dataset drawn from a fixed bounded $d$-dimensional domain $K$. A classical approach to private mean estimation is to compute the true mean and add unbiased, but possibly correlated, Gaussian noise to it. In the first part of this paper, we study the optimal error achievable by a Gaussian noise mechanism for a given domain $K$ when the error is measured in the $\ell_p$ norm for some $p \ge 2$. We give algorithms that compute the optimal covariance for the Gaussian noise for a given $K$ under suitable assumptions, and prove a number of nice geometric properties of the optimal error. These results generalize the theory of factorization mechanisms from domains $K$ that are symmetric and finite (or, equivalently, symmetric polytopes) to arbitrary bounded domains. In the second part of the paper we show that Gaussian noise mechanisms achieve nearly optimal error among all private unbiased mean estimation mechanisms in a very strong sense. In particular, for every input dataset, an unbiased mean estimator satisfying concentrated differential privacy introduces approximately at least as much error as the best Gaussian noise mechanism. We extend this result to local differential privacy, and to approximate differential privacy, but for the latter the error lower bound holds either for a dataset or for a neighboring dataset, and this relaxation is necessary.

研究の動機と目的

• 高次元空間における微分プライバシー下での不偏平均推定の最適ガウスノイズ機構を特定すること。
• 対称的有限領域からの要因分解機構理論を、任意の有界凸領域へ拡張すること。
• 集中型および近似型微分プライバシー下で、ガウスノイズ機構がすべての不偏プライベート推定器の中でほぼ最適な誤差を達成することを確立すること。
• テンソル積や周辺クエリ集合のような構造的領域におけるΓpノルムのタイトな境界を導出すること。

提案手法

• ℓpノルム誤差下での高次元平均推定における最適共分散行列を計算するためのフレームワークを提案する。
• 幾何学的および凸解析的手法を用いて、任意の有界領域K ⊆ Rdにおける最適ノイズ分布を特徴付ける。
• 双対性と対称性の議論を用いて、例えば単位球のℓ-テンソル積のような特別な場合における最適ノイズの閉形式表現を導出する。
• Γpノルムを誤差の主要な測度として用い、これを領域Kの幾何構造と結びつける。
• 射影と座標部分空間を用いた誤差の下界を証明し、既知の対称領域に関する結果を活用する。
• 局所的および近似型微分プライバシーへ結果を拡張し、下界がデータセットまたはその隣接データセットのいずれかで成立することを示す。

実験結果

リサーチクエスチョン

• RQ1 任意の有界領域K ⊆ Rdおよびℓpノルム誤差下で、不偏平均推定の最適ガウスノイズ機構は何か？
• RQ2 特に、単位球のテンソル積のような構造的領域において、最適誤差は領域Kの幾何構造にどのように依存するか？
• RQ3 集中型微分プライバシー下で、ガウスノイズ機構がすべての不偏プライベート推定器の中で最適であることを証明できるか？
• RQ4 微分プライバシー下でℓ方向の周辺クエリを公開する際に、達成可能な最小誤差は何か？
• RQ5 一般領域における誤差境界は、対称的または有限領域のそれらとどのように関係するか？

主な発見

• 任意の有界領域K ⊆ Rdおよびp ≥ 2に対して、最適ガウスノイズ機構はℓp誤差を最小化し、最適共分散は幾何最適化により導出される。
• Kℓd,∞（{−1,+1}dのℓ-テンソル積）のΓpノルムは(d/ℓ)ℓ/p + ℓ/2で有界であり、この領域の最適誤差と一致する。
• ℓ方向の周辺クエリに対しては、クエリ集合Kmargd,ℓのΓpノルムはdℓ/2 + ℓ/pとdℓ/pの間で有界であり、タイトな漸近的境界が得られる。
• 集中型微分プライバシー下で、ガウス機構はほぼ最適な誤差を達成し、近似型の場合には、データセットまたはその隣接データセットのいずれかで下界が成立する。
• 結果は、対称的有限領域からの要因分解機構を任意の有界領域へ一般化し、広範なクラスのプライベート平均推定器を統一する。
• 一般の不偏機構における誤差の下界が定数因子の範囲でタイトであることが示され、ガウスノイズ機構の近似的最適性が証明される。