[論文レビュー] Locally Private Mean Estimation: Z-test and Tight Confidence Intervals

Marco Gaboardi, Ryan Rogers+1 more|arXiv (Cornell University)|Oct 18, 2018

Privacy-Preserving Technologies in Data被引用数 18

ひとこと要約

本稿では、ガウス分布を仮定したもとで、局所的微分プライバシー（LDP）における平均推定の最適なアルゴリズムを提示し、ビット反転メカニズムと二分探索を組み合わせることで、長さ $ frac{ frac{}{}\widetilde{O}igl(\sigma\sqrt{\log(1/\beta)}\bigr)}{\epsilon\sqrt{n}}}$ のタイトな信頼区間を達成する。上界と下界が多項式対数要因を除いて一致することを示し、局所モデルにおける区間長の最適性を証明する。

ABSTRACT

This work provides tight upper- and lower-bounds for the problem of mean estimation under $ε$-differential privacy in the local model, when the input is composed of $n$ i.i.d. drawn samples from a normal distribution with variance $σ$. Our algorithms result in a $(1-β)$-confidence interval for the underlying distribution's mean $μ$ of length $ ilde O\left( \frac{σ\sqrt{\log(\frac 1 β)}}{ε\sqrt n} ight)$. In addition, our algorithms leverage binary search using local differential privacy for quantile estimation, a result which may be of separate interest. Moreover, we prove a matching lower-bound (up to poly-log factors), showing that any one-shot (each individual is presented with a single query) local differentially private algorithm must return an interval of length $Ω\left( \frac{σ\sqrt{\log(1/β)}}{ε\sqrt{n}} ight)$.

研究の動機と目的

• ガウス分布データ下での局所的微分プライバシー平均推定における上界と下界のギャップを埋めること。
• 近似的に最小長の信頼区間を生成する、効率的でワンショットのLDPアルゴリズムを設計すること。
• 古典的Z検定のプライベート版を局所モデルに提供し、プライバシー制約下での仮説検定を可能にすること。
• 導出された信頼区間長が、多項式対数要因を除いて最適であることを証明すること。
• プライベートな分位数推定にためのLDPの新しい応用を開発し、これは独立に興味深い可能性を有する。

提案手法

• 平均が長さ $\sigma$ の最も頻度の高い区間から $2\sigma$ の範囲内にあるという事実を活用し、ビット反転メカニズムを用いて、真の平均を高確率で含む狭い区間を特定する。
• 離散化された範囲 $[-R, R]$ 上で二分探索を実行し、分位数をプライベートに推定する。これは、分位数クエリをシミュレートするための注意深く構築された確率分布族を用いる。
• クリッピングおよび射影を施したデータポイントに対して、調整されたガウスノイズ $\mathcal{N}\left(0, \frac{2|I|^2 \log(2/\delta)}{\epsilon^2}\right)$ を用いたプライベート平均化メカニズムを適用し、平均を推定する。
• 全変動距離とプライバシー強化を用いて下界を証明するため、3点からなる離散分布族 $\mathcal{P}_i$ を構築する。
• $\epsilon$-LDP と $\delta$-緩和を組み合わせたハイブリッドプライバシー解析を用い、標本量と誤差のタイトな境界を導出する。
• 集中不等式とプライバシー損失会計を適用し、分位数推定および区間回復における誤差確率の上限を求める。

実験結果

リサーチクエスチョン

• RQ1 長さ $\widetilde{O}\left(\frac{\sigma\sqrt{\log(1/\beta)}}{\epsilon\sqrt{n}}\right)$ の信頼区間を達成する局所的微分プライバシー（LDP）アルゴリズムを設計できるか？
• RQ2 この区間長は、局所モデルにおいて多項式対数要因を除いて最適か？
• RQ3 二分探索を用いたプライベート分位数推定は、プライベート平均推定の構築ブロックとして利用可能か？
• RQ4 ワンショットの局所的微分プライバシー平均推定の根本的限界は、信頼区間長の観点からどのように規定されるか？
• RQ5 分散が既知か未知かの違いは、プライベート統計的推論におけるユーティリティとプライバシーのトレードオフにどのように影響するか？

主な発見

• 既知の分散の場合、条件 $n = \Omega\left(\frac{\log(R/\sigma)}{\epsilon^2}\right)$ の下で、提案アルゴリズムは長さ $O\left(\frac{\sigma\sqrt{\log(n)}}{\epsilon\sqrt{n}}\right)$ の信頼区間を達成する。
• 未知の分散の場合、$\sigma$ の下限が利用可能な限り、同様の長さの有効な信頼区間が生成される。
• 任意のワンショット $\epsilon$-LDPアルゴリズムに対して、長さ $\Omega\left(\frac{\sigma\sqrt{\log(1/\beta)}}{\epsilon\sqrt{n}}\right)$ の一致する下界が証明され、多項式対数要因を除いて最適性が示された。
• プライベートZ検定は実験的に妥当性が確認され、信頼区間のタイトさと実用的有用性が示された。
• 二分探索に基づく分位数推定手法は有効であることが示され、他のLDP応用においても独立に興味深い可能性を有する。
• 下界の証明は、$\alpha_{\rm quant}$ と $\alpha_{\rm dist}$ の両方のパラメータが構築において不可欠であることを示しており、いずれかを省略すると標本量が無限大に発散することを示している。