[論文レビュー] Differentially private sub-Gaussian location estimators

Marco Avella-Medina, Victor-Emmanuel Brunel|arXiv (Cornell University)|Jun 27, 2019

Privacy-Preserving Technologies in Data参考文献 25被引用数 10

ひとこと要約

本稿では、有界なデータや有限のモーメントを仮定せずに、サブガウス型の偏差バウンドを達成する2つの新しい微分プライバシー化された中央値推定器を提案する。最初の手法は、データの切り出しを伴うスムーズ感度を用いるもので、第二の手法は、切り出しを回避するためのプライバシー保護型の「提案・テスト・リリース」メカニズムを採用する。両手法とも、最小限の仮定のもとで最適なサブガウス型誤差率を達成する。

ABSTRACT

We tackle the problem of estimating a location parameter with differential privacy guarantees and sub-Gaussian deviations. Recent work in statistics has focused on the study of estimators that achieve sub-Gaussian type deviations even for heavy tailed data. We revisit some of these estimators through the lens of differential privacy and show that a naive application of the Laplace mechanism can lead to sub-optimal results. We design two private algorithms for estimating the median that lead to estimators with sub-Gaussian type errors. Unlike most existing differentially private median estimators, both algorithms are well defined for unbounded random variables that are not even required to have finite moments. We then turn to the problem of sub-Gaussian mean estimation and show that under heavy tails natural differentially private alternatives lead to strictly worse deviations than their non-private sub-Gaussian counterparts. This is in sharp contrast with recent results that show that from an asymptotic perspective the cost of differential privacy is negligible.

研究の動機と目的

• 有界でなく、重たい尾を持つデータに対して、サブガウス型の偏差を示す微分プライバシー化された位置推定器の不足を補う。
• 微分プライバシー下での中央値および平均推定に、ナイーブなラプラスメカニズムの適用における制限を克服する。
• 有限モーメントや有界なサポートがない状況でも、サブガウス型の誤差率を維持するプライバシー保護型推定器を設計する。
• 重たい尾を持つ分布下で、標準的なプライベート平均推定器が、非プライベート版と比較してサブガウス型の性能を達成できないことを示す。
• 特に、低モーメントの設定下でサブガウス型の性能を達成できる、中央値を越えるプライベートロバスト推定のフレームワークを提供する。

提案手法

• [28]のスムーズ感度キャリブレーションを、有界でないデータを想定した中央値推定問題に適応し、感度を制御するためにデータの切り出しを用いる。
• データ構成が有利かどうかをプライバシー的にチェックする「提案・テスト・リリース」メカニズムを導入し、ノイズを含む中央値推定値をリリースする。
• 誤差の高確率的制御を保証するため、プライバシー予算を割り当てる戦略を採用し、データの切り出しを回避する。
• ブロック平均を切り出し後にラプラスメカニズムを適用し、有界なスムーズ感度を保証する。
• 「返答なし」の確率を制御するため、ブロック平均の期待される分離度に基づいて閾値ηを設定する。
• 得られた推定器が、高確率1−αで、オーダー√(log(2/α)/n)のサブガウス型誤差バウンドを達成することを証明する。

実験結果

リサーチクエスチョン

• RQ1 有界なデータや有限のモーメントを仮定せずに、微分プライバシー化中央値推定器がサブガウス型の偏差を達成できるか？
• RQ2 なぜ、有界でないデータに対して中央値推定にナイーブにラプラスメカニズムを適用すると失敗するのか？
• RQ3 「提案・テスト・リリース」パラダイムを中央値推定に適応させることで、データの切り出しを避けつつも、サブガウス型の誤差バウンドを達成できるか？
• RQ4 非プライベート版と同等の最適なサブガウス型誤差率を達成する、標準的なサブガウス型平均推定器（例：平均の中央値、切り出し平均）の微分プライバシー化版は、重たい尾を持つ分布下でもサブガウス型の偏差を達成できるか？
• RQ5 重たい尾を持つ分布下で、プライベートと非プライベートのサブガウス型推定の間に根本的なギャップが存在するか？

主な発見

• 切り出しを伴うスムーズ感度に基づく推定器は、高確率1−αで、オーダー√(log(2/α)/n)のサブガウス型誤差バウンドを達成する。
• 「提案・テスト・リリース」に基づく推定器は、データの切り出しを回避しながらも、同じサブガウス型誤差率を達成する。これは、有利なデータ構成をプライバシー的に検証することで実現する。
• ナイーブなラプラスメカニズムは、グローバル感度とスムーズ感度が無限大であるため、中央値推定に失敗する。これは、ローカル感度が有限であっても同様である。
• 標準的なサブガウス型平均推定器（例：平均の中央値、切り出し平均）の微分プライバシー化版は、重たい尾を持つ分布下ではサブガウス型の偏差を達成できない。非プライベート版とは対照的である。
• 切り出し中央値の平均推定器のスムーズ感度は2Tで有界であり、Tをデータスケールに適切に選べばプライバシー保証が可能になる。
• 「提案・テスト・リリース」メカニズムにおいて、「返答なし」の確率は、ηを1/√(nα)のオーダーに設定することで低く抑えられ、高確率での有用性が保証される。