[論文レビュー] Locally Private Gaussian Estimation

Matthew Joseph, Janardhan Kulkarni+2 more|arXiv (Cornell University)|Nov 20, 2018

Privacy-Preserving Technologies in Data参考文献 30被引用数 17

ひとこと要約

この論文は、分散が既知および未知の設定下で、ガウス分布の平均を推定するための最適な局所的微分プライバシー（LDP）プロトコルを提示する。適応的2ラウンドおよび非適応的1ラウンドのアルゴリズムを導入し、情報理論的下界まで対数要因の誤差を達成する。これは、局所的プライバシーがこの基本的推定タスクにおいて、グローバルプライバシーと比較して√nの精度コストを伴うことを示している。

ABSTRACT

We study a basic private estimation problem: each of $n$ users draws a single i.i.d. sample from an unknown Gaussian distribution, and the goal is to estimate the mean of this Gaussian distribution while satisfying local differential privacy for each user. Informally, local differential privacy requires that each data point is individually and independently privatized before it is passed to a learning algorithm. Locally private Gaussian estimation is therefore difficult because the data domain is unbounded: users may draw arbitrarily different inputs, but local differential privacy nonetheless mandates that different users have (worst-case) similar privatized output distributions. We provide both adaptive two-round solutions and nonadaptive one-round solutions for locally private Gaussian estimation. We then partially match these upper bounds with an information-theoretic lower bound. This lower bound shows that our accuracy guarantees are tight up to logarithmic factors for all sequentially interactive $(\varepsilon,δ)$-locally private protocols.

研究の動機と目的

• 各ユーザーのデータが送信前にプライバシー化される局所的微分プライバシー下で、ガウス分布の平均をプライベートに推定するという根本的問題に取り組む。
• レイテンシおよびライブネス制約のため、順次的相互作用が高コストである実世界のシステムにおいて、最小限のラウンド数で効率的なプロトコルを設計する。
• 既知および未知の分散の両ケースに対して、タイトな精度保証を提供し、情報理論的下界まで対数要因の誤差を達成する。
• ガウス分布の平均推定において、任意の局所的プライベートプロトコルが Ω(σ/(ε√n)) よりも良い誤差を達成できないことを示す強力な下界を確立する。
• 強力なデータ処理不等式およびKLダイバージェンスのツールを用いて、完全にインタラクティブなプロトコルへの下界の拡張を実施する。

提案手法

• （ε,0）-局所的微分プライバシー下で、局所的プライベートなガウス分布の平均推定のための2ラウンド適応的プロトコルおよび1ラウンド非適応的プロトコルを提案する。
• データのスケールに適応する新しいプライバシー化メカニズムを用い、最悪のノイズ仮定を避けるためにガウス構造を活用する。
• 推定問題を単純な仮説検定問題に還元するテストベースの還元法を用いて下界を導出する。
• ピンスカーの不等式およびKLダイバージェンスを用いて統計的距離とプライバシー制約を関連付け、タイトな下界解析を可能にする。
• 情報理論における強力なデータ処理不等式を用いて、局所的プライバシー下での推定精度の根本的限界を導出する。
• 最近の Joseph らの結果[18]を用いて、完全にインタラクティブなプロトコルへの下界の拡張を実施し、同じ Ω(σ/(ε√n)) の誤差が避けられないことを示す。

実験結果

リサーチクエスチョン

• RQ1 局所的プライベートなガウス分布の平均推定において、プライバシー、精度、ラウンド複雑度の最適なトレードオフは何か？
• RQ2 分散が既知または有界である場合に、1ラウンドの非インタラクティブプロトコルが、近似的に最適な精度を達成できるか？
• RQ3 ガウス分布の平均推定において、局所的微分プライバシーはグローバルプライバシーと比較して、標本必要数および推定誤差にどのように影響を与えるか？
• RQ4 ガウス分布に対して、局所的プライベートプロトコル下での推定精度の根本的情報理論的限界は何か？
• RQ5 逐次的インタラクティブプロトコルに対する下界を、完全にインタラクティブなプロトコルへ拡張できるか？

主な発見

• 分散σが既知の場合、2ラウンドプロトコルは確率1−βで推定誤差 O(σ/ε √(log(1/β)/n)) を達成し、対数要因を除いてグローバルプライバシーのベースラインと一致する。
• 1ラウンドプロトコルは確率1−βで誤差 O(σ/ε √(log(1/β)√log(n)/n)) を達成し、非インタラクティブ設計によるわずかなコストが生じている。
• 分散が未知だが [σ_min, σ_max] の範囲に制限されている場合、2ラウンドプロトコルは高確率で誤差 O(σ/ε √(log(1/β)log(n)/n)) を達成する。
• 分散が未知の場合の1ラウンドプロトコルは誤差 O(σ/ε √(log(σ_max/σ_min + 1) log(1/β) log^{3/2}(n)/n)) を達成し、スケールの不確実性を捉えている。
• タイトな下界により、任意の（ε,δ）-局所的プライベートプロトコルが、ガウス分布の平均推定において Ω(σ/(ε√n)) よりも良い誤差を達成できないことが示された。これは完全にインタラクティブな通信であっても同様である。
• 下界は完全にインタラクティブなプロトコルへ拡張され、局所的プライバシーにおける √n の精度コストが、この問題において避けられないことが確認された。