[論文レビュー] Differentially Private Assouad, Fano, and Le Cam

Jayadev Acharya, Ziteng Sun+1 more|arXiv (Cornell University)|Apr 14, 2020

Privacy-Preserving Technologies in Data参考文献 58被引用数 7

ひとこと要約

本稿は、古典的な統計的下界技術—アッソワの補題、ファノの不等式、レ・カムの方法—の微分プライバシー版を導入し、プライベート推定におけるタイトなサンプル複雑度の境界を可能にする。全変動距離およびℓ₂距離の下で離散的分布推定の最適サンプル複雑度を確立し、積分布およびガウス混合分布について対数要因を除いてタイトな下界を提供する。プライバシー制約のカップリングに基づく解析を用いる。

ABSTRACT

Le Cam's method, Fano's inequality, and Assouad's lemma are three widely used techniques to prove lower bounds for statistical estimation tasks. We propose their analogues under central differential privacy. Our results are simple, easy to apply and we use them to establish sample complexity bounds in several estimation tasks. We establish the optimal sample complexity of discrete distribution estimation under total variation distance and $\ell_2$ distance. We also provide lower bounds for several other distribution classes, including product distributions and Gaussian mixtures that are tight up to logarithmic factors. The technical component of our paper relates coupling between distributions to the sample complexity of estimation under differential privacy.

研究の動機と目的

• 古典的な統計的下界技術—アッソワの補題、ファノの不等式、レ・カムの方法—を微分プライバシーの文脈に拡張すること。
• 全変動距離およびℓ₂距離の下で、離散的分布推定のためのタイトなサンプル複雑度境界を確立すること。
• 積分布やガウス混合分布といった構造的分布クラスの下界を、微分プライバシーのもとで導出すること。
• 分布のカップリングと、微分プライバシー推定におけるサンプル複雑度との間の関係を形式化すること。
• プライバシーに配慮したカップリングと仮説検定の還元を用いて、(ε,δ)-微分プライバシー下でのミニマックス下界を証明する一般枠組みを提供すること。

提案手法

• プライバシー制約下でのパラメーターベクトルの個々のビットを同定する誤差と推定誤差を関連付けることで、アッソワの補題の微分プライベート版を提案する。
• プライバシー保護のカップリングを用いて、プライベートクエリと真のパラメータ間の相互情報量を分析することで、ファノの不等式を微分プライバシーに適応する。
• 推定問題を微分プライバシー下での二項仮説検定に還元することで、レ・カムの方法のプライベート版を開発する。プライバシーに配慮したカップリングを用いて、検定誤差を抑え込む。
• 分布間のカップリングを用いて、プライバシー制約を最小推定誤差に関連づけ、成功したカップリングがサンプル複雑度の下界を示すことを示す。
• プライベートファノおよびアッソワの下界を用いて、離散的分布推定、積分布、ガウス混合分布のためのタイトなサンプル複雑度下界を導出する。
• ギルバート＝ヴァルシャモフの下界を用いてプライベート符号を構築し、良好なプライベート推定器の存在を確立することで、下界構築を支援する。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシー下でのアッソワの補題、ファノの不等式、レ・カムの方法の類似物は何か。それらは非プライベート版とはどのように異なるか。
• RQ2 (ε,δ)-微分プライバシー下で、全変動距離およびℓ₂距離の下での離散的分布推定の最適サンプル複雑度は何か。
• RQ3 プライバシー制約は推定タスクにおけるミニマックスリスクにどのように影響するか。カップリングに基づく技術は、その影響を正確に捉えることができるか。
• RQ4 提案されたこれらの不等式のプライベート版は、積分布やガウス混合分布といった構造的分布クラスに対してタイトな下界をもたらすことができるか。
• RQ5 プライバシーに配慮したカップリングは、プライベート推定におけるサンプル複雑度下界を導出する上で果たす役割は何か。

主な発見

• 本稿は、(ε,δ)-微分プライバシー下で全変動距離の下で離散的分布推定の最適サンプル複雑度を確立し、既知の上界と一致する。
• ℓ₂距離の下では、対数要因を除いて最良の既知の上界と一致するタイトな下界を導出する。
• プライベート版アッソワの補題により、R(P,ℓ,ε,δ) ≥ (kτ/2)(0.9e^(-10εD) - 10Dδ) の形の下界が得られ、推定誤差とプライバシーパラメータを結びつける。
• プライベートファノの不等式を用いて、(ε,δ)-DP下での離散的分布推定のサンプル複雑度がΩ(k/ε)であることを示し、既知の上界と一致する。
• 積分布およびガウス混合分布について、対数要因を除いてタイトな下界を提供し、提案された枠組みの強力さを示す。
• プライバシー制約と分布の区別可能性を直接結びつける、新しいカップリングに基づく解析により、タイトなミニマックス下界が得られる。