[論文レビュー] Propose, Test, Release: Differentially private estimation with high probability

Victor-Emmanuel Brunel, Marco Avella-Medina|arXiv (Cornell University)|Feb 19, 2020

Privacy-Preserving Technologies in Data参考文献 28被引用数 13

ひとこと要約

本稿は、データの有界性やパラメータの区間が事前に分かっていない状況下でも、サブガウス型の高確率誤差バウンドを達成できる、微分プライバシーの中央値および平均推定のための洗練された「提案、検証、公開」（PTR）メカニズムを導入する。これは、一般のモーメント条件の下で、重い尾を持つ分布に対しても、微分プライバシーの中央値および平均推定器に対して、初めてサブガウス型の逸脱保証を提供する。

ABSTRACT

We derive concentration inequalities for differentially private median and mean estimators building on the "Propose, Test, Release" (PTR) mechanism introduced by Dwork and Lei (2009). We introduce a new general version of the PTR mechanism that allows us to derive high probability error bounds for differentially private estimators. Our algorithms provide the first statistical guarantees for differentially private estimation of the median and mean without any boundedness assumptions on the data, and without assuming that the target population parameter lies in some known bounded interval. Our procedures do not rely on any truncation of the data and provide the first sub-Gaussian high probability bounds for differentially private median and mean estimation, for possibly heavy tailed random variables.

研究の動機と目的

• データが有界でない、またはパラメータの区間が事前に分かっていない状況下で、微分プライバシーの中央値および平均推定器に対する高確率誤差バウンドが不足している問題を解決すること。
• データの切り詰めやパrameterの境界に関する事前知識を必要とする従来の微分プライバシー推定器の限界を克服すること。
• 重い尾を持つ分布に対しても、最小限のモーメント仮定の下で、微分プライバシーの平均および中央値推定に対してサブガウス型の逸脱保証を提供すること。
• 「no reply」の確率を制御しながらノイズを最小限に抑える、一般できめ細やかなPTRメカニズムのバージョンを構築すること。
• 最悪ケースのノイズキャリブレーションに依存せず、有限標本における高確率誤差バウンドを確立すること。

提案手法

• データ構成に応じてノイズを適応的にキャリブレートする、一般化され洗練された「提案、検証、公開」（PTR）メカニズムの導入。
• 中央値の平均推定器を基盤とし、データをK個の互いに素なブロックに分割して、標本平均を計算する。
• PTRメカニズムを標本平均に適用し、データ構成が低ノイズ推定を許容するかを検証する。
• 集中不等式および標本平均の正規近似におけるBerry-Esseenの境界を用いて、「no reply」の確率を制御する。
• 順序統計量および一様間隔を活用して、中央値の平均の周りの信頼区間の幅を制限し、高確率的な正確性を保証する。
• Hoeffdingの不等式およびBernsteinの不等式を、標本中央値における集中バウンドと組み合わせ、サブガウス型の逸脱バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 データが有界でない、またはパラメータの区間が事前に分かっていない状況下でも、微分プライバシーの中央値および平均推定器がサブガウス型の高確率誤差バウンドを達成できるか？
• RQ2 第二モーメントの仮定のみで、平均の微分プライバシー推定器がサブガウス型の逸脱を維持できるか？
• RQ3 PTRメカニズムをどのように洗練すれば、ノイズを最小限に抑えつつ高確率的な正確性と失敗確率の制御を達成できるか？
• RQ4 中央値の平均推定器を、重い尾を持つ分布に対し、サブガウス型の誤差保証を持つ微分プライバシーに適合できるか？
• RQ5 微分プライバシーの位置推定において、ノイズレベル、失敗確率、標本サイズの最適なトレードオフは何か？

主な発見

• 提案されたPTRメカニズムは、データが有界でない、またはパrameterの位置に関する事前知識がなくても、微分プライバシーの中央値および平均推定に対してサブガウス型の高確率誤差バウンドを達成する。
• 中央値の平均推定器に関して、元の分布が第二モーメントしか持たない場合でも、誤差がサブガウス型の閾値を超える確率がτで抑えられることを保証する。
• k番目の順序統計量が制御された区間内にあると仮定すると、順序統計量および一様間隔における集中バウンドを組み合わせることで、失敗確率が最大τ/2に抑えられる。
• ノイズレベルは適応的にキャリブレーションされる：データが有利な構成にある場合には、わずかなノイズしか追加されず、最悪ケースのメカニズムに比べて著しく精度が向上する。
• 必要な標本数は n ≥ 33(ρ/σ)^6K であり、ρは尖度、σは標準偏差である。
• 最終的な推定器は、平均および中央値に関して、O(√(log(1/τ)/n))のオーダーのサブガウス型の逸脱バウンドを達成する。これは、最小限のモーメント仮定の下で、非プライベートなサブガウス型レートと一致する。