[論文レビュー] New Lower Bounds for Private Estimation and a Generalized Fingerprinting Lemma

Gautam Kamath, Argyris Mouzakis+1 more|arXiv (Cornell University)|May 17, 2022

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

本稿は、近似的な微分プライバシー（$ε,\delta$-DP）下でのプライベート推定におけるタイトな下界を確立し、指数型分布族に一般化された指紋法を導入することで、それぞれフロベニウスノルムおよびスペクトルノルムにおけるプライベート共分散推定の下界を$Ω(d^2)$および$Ω(d^{3/2})$として示した。また、有界共分散下での平均推定に対しては$Ω(d/(α^2\varepsilon))$の下界を確立した。これらの結果は文献におけるギャップを埋め、スペクトル推定における統計的プライバシーのギャップを裏付けた。

ABSTRACT

We prove new lower bounds for statistical estimation tasks under the constraint of $(\varepsilon, δ)$-differential privacy. First, we provide tight lower bounds for private covariance estimation of Gaussian distributions. We show that estimating the covariance matrix in Frobenius norm requires $Ω(d^2)$ samples, and in spectral norm requires $Ω(d^{3/2})$ samples, both matching upper bounds up to logarithmic factors. The latter bound verifies the existence of a conjectured statistical gap between the private and the non-private sample complexities for spectral estimation of Gaussian covariances. We prove these bounds via our main technical contribution, a broad generalization of the fingerprinting method to exponential families. Additionally, using the private Assouad method of Acharya, Sun, and Zhang, we show a tight $Ω(d/(α^2 \varepsilon))$ lower bound for estimating the mean of a distribution with bounded covariance to $α$-error in $\ell_2$-distance. Prior known lower bounds for all these problems were either polynomially weaker or held under the stricter condition of $(\varepsilon, 0)$-differential privacy.

研究の動機と目的

• 近似的な微分プライバシー下でのプライベート統計的推定のサンプル複雑性の理解におけるギャップを埋めること。特に共分散および平均推定に関して。
• 従来の手法が失敗する、$ε,\delta$-DP下での相関のある推定問題（例：ガウス共分散推定）に対するタイトな下界の欠如に対処すること。
• 製品分布を超えた指紋法の一般化を、相関のあるモデルに広く適用可能な形で指数型分布族にまで拡張すること。
• スペクトルノルム共分散推定において、プライベートと非プライベート推定の間の統計的プライバシーのギャップを確立すること。
• 純粋なDP（$δ=0$）の制限的設定を超えて、より弱いプライバシー制約下でも成立する下界を提供すること。これにより、既知の上界と対数的要因を除いて一致する。

提案手法

• BUV14の指紋法を指数型分布族に一般化し、ガウス分布のような相関のある分布に対しても下界を導出可能にした。
• カップリング下での指数型分布族の混合分布間の発散を特徴付ける新しい技術的補題（補題3.2）を導入した。
• アチャリャ、サン、張（2021）のプライベートアッソアド法を用いて、2次のモーメントが有界な条件での平均推定の下界を導出した。
• プライバシー機構の最悪ケースシナリオを模倣するため、制御された周辺分布と依存構造を持つ特定の分布を構築した。
• カップリングの議論と発散の上限（例：$D \geq \frac{0.04}{\varepsilon + \delta}$）を用い、プライバシー損失とサンプル複雑性の関係を確立した。
• 共分散行列および行列ノルムの構造的性質を応用し、スペクトルノルム推定をフロベニウスノルムに還元した。

実験結果

リサーチクエスチョン

• RQ1 ガウス分布の共分散行列のプライベート推定における、$ε,\delta$-微分プライバシー下での最適なサンプル複雑性は何か？
• RQ2 ガウス共分散行列のスペクトルノルム推定において、プライベートと非プライベート推定の間で統計的ギャップが存在するか？
• RQ3 指紋法は、製品分布を超えて、指数型分布族のような相関のあるモデルに対しても一般化可能か？
• RQ4 有界共分散下での$ε,\delta$-DPにおける、$ι_2$-誤差の下でのプライベート平均推定のタイトな下界は何か？
• RQ5 下界は、より大きな誤差領域（$α = \Omega(\sqrt{d})$）や高確率成功（$1-\beta$）の設定へ拡張可能か？

主な発見

• 本稿は、$ε,\delta$-DP下でのフロベニウスノルムにおけるプライベート共分散推定に対して、タイトな$Ω(d^2)$の下界を確立し、既知の上界と対数的要因を除いて一致した。
• スペクトルノルムにおけるガウス共分散行列の推定に対して、$Ω(d^{3/2})$の下界を証明し、長年にわたり予想されてきた統計的プライバシーのギャップを確認した。
• 一般化された指紋法により、指数型分布族に対する下界が可能となり、従来の手法が独立した周辺分布を仮定していた制限を克服した。
• 有界共分散下でのプライベート平均推定に対して、$Ω(d/(α^2\varepsilon))$のタイトな下界を確立し、以前の多項式的で弱い下界を改善した。
• これらの結果は、純粋なDP（$δ=0$）の制限的設定を超えて、より弱い$ε,\delta$-DP制約下でも成立する。
• 現在の下界を拡張可能な条件（例：より大きな誤差領域、高確率保証）を同定した。