[論文レビュー] Differentially Private Hypothesis Testing, Revisited.

Yue Wang, Jae Wook Lee+1 more|arXiv (Cornell University)|Nov 11, 2015

Privacy-Preserving Technologies in Data参考文献 19被引用数 16

ひとこと要約

本稿は、プライバシー固有の漸近的枠組みを用いることで、従来の手法の制限を克服し、正確性と信頼性を向上させる、差別的プライバシー保証付き仮説検定の新規フレームワークを提案する。表形式データ向けにプライベートな尤度比検定およびカイ二乗検定を構築し、p値へのノイズの影響を最小限に抑えることで、多様なプライバシー設定下でも実用的な性能を示す。

ABSTRACT

Hypothesis testing is different from traditional applications of differential privacy in that one needs an accurate estimate of how the noise affects the result (i.e. a $p$-value). Previous approaches to differentially private hypothesis testing either used output perturbation techniques that generally had large sensitivities (hence risked swamping the data with noise), or input perturbation techniques that resulted in highly unreliable $p$-values (and hence invalid statistical conclusions). In this paper, we develop a variety of practical hypothesis tests that address these problems. Using a different asymptotic regime that is more suited to hypothesis testing with privacy, we show a modified equivalence between chi-squared tests and likelihood ratio tests. We then develop differentially private likelihood ratio and chi-squared tests for a variety of applications on tabular data (i.e., independence, homogeneity, and goodness-of-fit tests). An open problem is whether new test statistics specialized to differential privacy could lead to further improvements. To aid in this search, we further propose a permutation-based testbed that can allow experimenters to empirically estimate the behavior of new test statistics for private hypothesis testing before fully working out their mathematical details (such as approximate null distributions). Experimental evaluations on small and large datasets using a wide variety of privacy settings demonstrate the practicality and reliability of our methods.

研究の動機と目的

• 既存の差別的プライバシー保証付き仮説検定手法におけるp値の信頼性の低さを是正すること。
• プライバシー制約に適合するように漸近的枠組みを再定義することで、プライベート仮説検定におけるノイズ感受性を低減すること。
• 表形式データにおける独立性、適合度、一様性の検定といった一般的な統計的タスクに対して、実用的で正確なプライベート検定を構築すること。
• 完全な母集団分布の導出を必要とせずに、新しいプライベート検定統計量を経験的に評価するためのテストベッドを提供すること。
• 完全な帰無分布の分析を事前に必要とせずに、研究者がプライバシー最適化された検定統計量を探索できるようにすること。

提案手法

• 差別的プライバシーに特化した修正された漸近的枠組みを導入し、ノイズと統計的パワーの間の整合性を高める。
• この新しい枠組み下で、尤度比検定とカイ二乗検定の理論的同等性を確立する。
• 独立性、一様性、適合度の各検定について、差別的プライバシー保証付きの尤度比検定およびカイ二乗検定を構築する。
• 完全な母集団分布の解析を必要とせずに、新しいプライベート検定統計量を経験的に評価できる、置換に基づくテストベッドを提案する。
• 出力摂動を用い、適切に調整されたノイズを導入することで、プライバシーを保ちつつp値の歪みを最小限に抑える。
• 小さなデータセットから大きなデータセットまで統計的妥当性を維持するプライバシー予算配分戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 新たな漸近的枠組みは、差別的プライバシー保証付き仮説検定におけるp値の正確性と信頼性を向上させ得るか？
• RQ2 差別的プライバシー下で、プライベートな尤度比検定およびカイ二乗検定をどのように構築すれば、統計的妥当性を維持できるか？
• RQ3 置換に基づくテストベッドは、プライベート検定統計量の母集団分布の完全な解析をどれだけ減少させ得るか？
• RQ4 さまざまなデータサイズおよびプライバシー予算下で、プライベート仮説検定を実用的かつ信頼性のあるものにできるか？
• RQ5 実世界の設定において、出力摂動と入力摂動を用いた場合の、プライベート検定の性能的トレードオフは何か？

主な発見

• 提案手法によるプライベート尤度比検定およびカイ二乗検定は、従来の出力摂動または入力摂動手法に比べ、はるかに信頼性の高いp値を達成する。
• 修正された漸近的枠組みにより、差別的プライバシー下で尤度比検定とカイ二乗検定の理論的同等性が実現され、一貫性が向上する。
• 実験的評価では、さまざまなプライバシー予算下で、小さなデータセットおよび大きなデータセットの両方で安定的かつ正確なp値が得られた。
• 置換に基づくテストベッドにより、母集団分布の完全な数学的解析を要せず、新しいプライベート検定統計量の効率的かつ経験的な評価が可能になった。
• ノイズによる統計量の歪みが低減され、差別的プライバシー下でもより妥当な統計的結論が得られるようになった。
• 本手法は、強力なプライバシー保証を備えた表形式データ分析における実世界応用の実用的妥当性を示している。