[論文レビュー] Private Mean Estimation of Heavy-Tailed Distributions

Gautam Kamath, Vikrant Singhal+1 more|arXiv (Cornell University)|Feb 21, 2020

Privacy-Preserving Technologies in Data参考文献 52被引用数 15

ひとこと要約

本稿は、k次のモーメントが有界な一変量および多変量分布に対する微分プライバシー平均推定のサンプル複雑度について、タイトな境界を確立している。プライバシーが重たい尾を持つ分布に対しては、部分ガウス分布よりも著しく高いコストを伴うことが示されている。一変量分布でk次のモーメントが有界な場合、最適なサンプル複雑度は Θ(1/α² + 1/(εα^{k/(k−1)}) + log(R)/ε) であり、非プライベートな設定とは異なった形でモーメントパラメータkに依存することが明らかになった。

ABSTRACT

We give new upper and lower bounds on the minimax sample complexity of differentially private mean estimation of distributions with bounded $k$-th moments. Roughly speaking, in the univariate case, we show that $n = Θ\left(\frac{1}{α^2} + \frac{1}{α^{\frac{k}{k-1}}\varepsilon} ight)$ samples are necessary and sufficient to estimate the mean to $α$-accuracy under $\varepsilon$-differential privacy, or any of its common relaxations. This result demonstrates a qualitatively different behavior compared to estimation absent privacy constraints, for which the sample complexity is identical for all $k \geq 2$. We also give algorithms for the multivariate setting whose sample complexity is a factor of $O(d)$ larger than the univariate case.

研究の動機と目的

• k次のモーメントが有界であるという仮定の下で、微分プライバシー平均推定のミニマックスサンプル複雑度を特定すること。
• 平均推定におけるプライバシーコストが、特に重たい尾を持つ分布（k ≥ 2）の分布の尾の挙動にどのように依存するかを同定すること。
• 一変量から多変量分布への分析の拡張を行い、高次元におけるサンプル複雑度の境界を確立すること。
• 同じモーメント制約下で、純粋なε-DP、zCDP、および近似DPの3つのバリアントに対して、タイトな上界と下界を提供すること。

提案手法

• まずプライベートヒストグラム機構を用いて分布の範囲をプライベートに推定し、その後推定された範囲上で経験平均にノイズを追加するプライベート平均推定アルゴリズムを提案する。
• 微分プライバシーを保ちつつ精度を維持するために、適切にノイズをキャリブレートしたラプラス機構を用いたプライベートな範囲推定を実施する。
• k次のモーメントとプライバシーパラメータεに合わせてノイズをキャリブレートした切り捨てられた経験平均推定器を適用し、対称化とモーメントバウンドを活用する。
• 全変動距離に基づくパッキング議論と相対距離1/4のコードを用いて、高次元設定における下界を導出する。
• 純粋なε-DP、zCDP、近似(ε,δ)-DPという複数のプライバシー定義に分析を適応させ、すべてのバリアントにおいてαおよびεにたいするサンプル複雑度の漸近的タイトネスを示す。
• 変数変換の議論を用いて、k次のモーメント≤1である正規化された分布からの結果を、k次のモーメントがM^kσ^kに有界である一般の分布へ一般化する。

実験結果

リサーチクエスチョン

• RQ1 k ≥ 2 に対して、k次のモーメントが有界な分布の下で、微分プライバシー平均推定の最適サンプル複雑度は何か？
• RQ2 k > 2 の重たい尾を持つ分布とk = 2 の部分ガウス分布の間で、平均推定におけるプライバシーコストはどのように異なるか？
• RQ3 同じモーメント制約下で、純粋なDPと緩和されたDPの両方のバリアントに対して、タイトな上界と下界を確立できるか？
• RQ4 多変量設定において、サンプル複雑度は次元dにどのように依存するか？また、プライバシーパラメータと精度にどのような依存関係があるか？

主な発見

• k次のモーメントが有界な一変量分布に対して、ε-微分プライバシー下での最適サンプル複雑度は Θ(1/α² + 1/(εα^{k/(k−1)}) + log(R)/ε) であり、Rは平均の上限を表す。
• サンプル複雑度はkに強く依存しており、kが大きくなるほどプライバシーコストが上昇する。これは、非プライベート設定ではすべてのk ≥ 2 に対してO(1/α²)であるのとは顕著に異なる性質である。
• すべての方向で2次のモーメントが有界な多変量分布に対して、サンプル複雑度は Ω(d/α²ε) であり、一変量の場合に比べてd倍の増加が生じる。
• 純粋なε-DP、zCDP、近似(ε,δ)-DPという3つの一般的なDPバリアントすべてに対してタイトな境界が確立され、主な項1/α² + 1/(εα^{k/(k−1)}) がすべてのバリアントに共通している。
• 高次元平均推定における下界は、ℓ₂²誤差がα²/192未満である必要がある任意の(ε,0)-DPアルゴリズムがΩ(d/α²ε)のサンプルを必要とすることを示しており、多変量設定におけるd要因の最適性を証明している。
• 既知の分散とk次のモーメントの上限に基づいてデータをスケーリングすることで、正規化誤差αに対する一般化が可能であり、サンプル複雑度がO(M^{k/(k−1)}/(εα^{k/(k−1)})）に比例することが示された。