[論文レビュー] Parametric Bootstrap for Differentially Private Confidence Intervals

Cecilia Ferrando, Shufan Wang+1 more|arXiv (Cornell University)|Jun 14, 2020

Privacy-Preserving Technologies in Data参考文献 30被引用数 11

ひとこと要約

本稿では、標本ノイズとプライバシー・ノイズの両方を同時に考慮する、実用的で汎用的な差分プライバシー信頼区間を構築するためのパラメトリックブートストラップを提案する。この手法は、小さな標本サイズでも一貫性があり、良好な被覆率を達成するwell-calibratedな信頼区間を提供し、サブサンプル＆アグリゲート法や漸近的手法よりも優れている。

ABSTRACT

The goal of this paper is to develop a practical and general-purpose approach to construct confidence intervals for differentially private parametric estimation. We find that the parametric bootstrap is a simple and effective solution. It cleanly reasons about variability of both the data sample and the randomized privacy mechanism and applies "out of the box" to a wide class of private estimation routines. It can also help correct bias caused by clipping data to limit sensitivity. We prove that the parametric bootstrap gives consistent confidence intervals in two broadly relevant settings, including a novel adaptation to linear regression that avoids accessing the covariate data multiple times. We demonstrate its effectiveness for a variety of estimators, and find that it provides confidence intervals with good coverage even at modest sample sizes and performs better than alternative approaches.

研究の動機と目的

• 差分プライバシー統計推定における信頼区間を構築する汎用的手法を開発すること。
• プライベート推定量における標本ノイズとプライバシー・ノイズを同時にモデル化する課題に取り組むこと。
• プライベート推定における感度を制限するためのデータクリッピングによって生じるバイアスを是正すること。
• 繰り返しデータへのアクセスを回避することで、プライバシー・コストを最小限に抑える手法を提供すること。
• 多様なプライベート推定設定において一貫性があり、well-calibratedな信頼区間を達成すること。

提案手法

• パラメトリックブートストラップは、適合したパラメトリックモデルから再サンプリングすることで、プライベート推定量の標本分布を近似する。
• 複数回のデータアクセスを回避するための事後処理を用いることで、追加のプライバシー・コストはほとんどまたは全く発生しない。
• 信頼区間は、ブートストラップ再試行のEfronのパーセンタイル法を用いて構築する。
• バイアス補正は、データクリッピングによって生じる標本分布のシフトを推定・補正することで達成する。
• 線形回帰では、共変量データへの繰り返しアクセスを回避するための新しいハイブリッドブートストラップ手法を導入する。
• 指数型分布族および十分統計量の摂動（SSP）を用いた線形回帰において、理論的整合性が証明されている。

実験結果

リサーチクエスチョン

• RQ1 パラメトリックブートストラップは、差分プライバシー推定において一貫性があり、well-calibratedな信頼区間を生成できるか？
• RQ2 漸近的手法やサブサンプル＆アグリゲート法と比較して、パラメトリックブートストラップの被覆率と区間幅はどのように異なるか？
• RQ3 パラムトリックブートストラップは、プライベート推定におけるデータクリッピングによるバイアスを効果的に補正できるか？
• RQ4 プライバシー・ノイズが無視できない小さな標本サイズでも、この手法は良好な性能を維持できるか？
• RQ5 繰り返しデータアクセスを伴わずに、プライベート線形回帰にパラメトリックブートストラップを適応できるか？

主な発見

• パラメトリックブートストラップは、小さな標本サイズ（n=10）でもほぼ名目水準の被覆率（例：95％）を達成するが、プライベートなフィッシャー信頼区間は顕著な低被覆率を示す。
• ブートストラップ区間は、高い分散と不良なキャリブレーションに苦しむサブサンプル＆アグリゲート法の区間よりも、きつくかつより良好にキャリブレートされている。
• 指数型分布族において、パラメトリックブートストラップはプライバシー・ノイズを正しく反映し、不確実性の増加を反映したより広い区間を提供する。
• 線形回帰において、提案されたハイブリッドブートストラップは繰り返しデータアクセスを回避し、最小限のプライバシー・コストで良好な被覆率を維持する。
• ポisson分布および正規分布における右端のデータクリッピングによる推定バイアスを、パラメトリックブートストラップによるバイアス補正が効果的に軽減する。
• 漸近的手法は、プライバシー・ノイズが無視できない小さなnでは適切な被覆率を提供できないが、ブートストラップはその影響に強く、ロバストである。