[論文レビュー] Comparing Population Means under Local Differential Privacy: with Significance and Power

Bolin Ding, Harsha Nori+2 more|arXiv (Cornell University)|Mar 24, 2018

Privacy-Preserving Technologies in Data被引用数 12

ひとこと要約

本稿では、型I誤り（有意水準）を限定し、統計的パワーの理論的下限を提供する変換に基づくアプローチを用いて、局所的微分プライバシー（LDP）に配慮した母平均の比較のための2つの仮説検定を提案する。この手法により、データ収集者を信頼する必要がないプライベートなA/Bテストが可能となり、強いプライバシー制約下でも誤差制御が保証される。

ABSTRACT

A statistical hypothesis test determines whether a hypothesis should be rejected based on samples from populations. In particular, randomized controlled experiments (or A/B testing) that compare population means using, e.g., t-tests, have been widely deployed in technology companies to aid in making data-driven decisions. Samples used in these tests are collected from users and may contain sensitive information. Both the data collection and the testing process may compromise individuals' privacy. In this paper, we study how to conduct hypothesis tests to compare population means while preserving privacy. We use the notation of local differential privacy (LDP), which has recently emerged as the main tool to ensure each individual's privacy without the need of a trusted data collector. We propose LDP tests that inject noise into every user's data in the samples before collecting them (so users do not need to trust the data collector), and draw conclusions with bounded type-I (significance level) and type-II errors (1 - power). Our approaches can be extended to the scenario where some users require LDP while some are willing to provide exact data. We report experimental results on real-world datasets to verify the effectiveness of our approaches.

研究の動機と目的

• 局所的微分プライバシー（LDP）下で、ユーザーがデータ収集者を信頼する必要のないプライベートなA/Bテストを可能にすること。
• t検定に不可欠な標本分散の推定という課題に取り組むこと、これはLDP下で標本分散を推定することが以前には未解決であった。
• LDP保護された仮説検定における型I誤り（有意水準）および統計的パワーに関する理論的保証を提供すること。
• 一部のユーザーがLDPを要件とし、他のユーザーが正確なデータを提供するハイブリッドプライバシーモデルをサポートすること。
• 実世界のデータセットを用いて、さまざまなプライバシー制約および標本サイズ制約下での提案手法の有効性を実証的に検証すること。

提案手法

• LDPメカニズムが誘導する変換された分布と元の母集団分布の関係を分析する、変換に基づくLDP検定を提案する。
• LDP保護されたサンプルの変換された分布を直接用いて、検定統計量とp値を計算し、分散推定に依存しない。
• 定理3を用いて、所定の有意水準で所望の統計的パワーを達成するための最小標本サイズの解析的境界を導出する。
• LDP保護データと非LDPユーザーからの正確なデータを組み合わせるハイブリッドLDP検定（$\mathfrak{T}^{\sf mix}_\varepsilon$）を導入し、ユーザーの種別に応じてノイズレベルを調整する。
• 強いプライバシー要件を満たすユーザー向けに、二値LDPメカニズム（$\mathfrak{T}^{\sf bin}_\varepsilon$）を採用し、$\varepsilon$-LDPに適合するノイズを調整する。
• 実世界のデータセットと、平均差（$\theta$）を変化させた合成的なA/Bテストシナリオを用いて、検定の有意水準とパワーを検証する。

実験結果

リサーチクエスチョン

• RQ1 局所的微分プライバシー下で母平均を比較する仮説検定を設計可能か。特に、型I誤り（有意水準）が限定的であることを保証できるか。
• RQ2 分散推定が非現実的である場合でも、LDP保護されたt検定において、統計的パワーの証明可能な下限を達成することは可能か。
• RQ3 LDP保護されたA/Bテストにおいて、必要な標本サイズはプライバシー予算$\varepsilon$および平均差$\theta$とどのようにスケーリングされるか。
• RQ4 提案手法が、一部のユーザーのみがLDPを要件とするハイブリッドプライバシーモデルをサポートできるか。
• RQ5 さまざまなプライバシー制約および標本サイズ条件下で、LDP検定の実証的性能と誤差率は、非プライベートなt検定と比べてどのように異なるか。

主な発見

• 変換に基づくLDP検定（$\mathfrak{T}^{\sf bin}_\varepsilon$）は、大きなドメインサイズや高い$\varepsilon$値（例：$\varepsilon = 5$）であっても、事前に指定された有意水準（$\alpha$）を安定して維持する。
• 推定に基づくLDP検定（$\mathfrak{T}^{\sf est}_\varepsilon$）は、分散推定の分散が高いため、データドメインサイズ$m$が増加するにつれて型I誤りが目標$\alpha$を上回る傾向を示す。
• 平均差$\theta = 60$の場合、$\mathfrak{T}^{\sf bin}_\varepsilon$で$\varepsilon = 5$を満たすには、非プライベートなウェルチのt検定に比べて約3倍の標本が必要となる。
• 定理3（式11）による理論的標本サイズ推定は「安全な」境界を提供する：このようなサイズの標本は、実験において一貫して目標パワー0.8以上を達成または上回る。
• ハイブリッド設定では、LDP保護ユーザーの割合を減らすことで必要な標本サイズが著しく削減される。LDPユーザーが50%の場合、全LDPの場合に比べて標本サイズは半減する。LDPユーザーが1%の場合、非プライベート検定の要件に近づく。
• ハイブリッド検定$\mathfrak{T}^{\sf mix}_\varepsilon$は、プライバシーと効率性のバランスを効果的に実現し、部分的なLDPの採用が標本サイズを著しく削減しつつ、有意水準やパワーを損なわないことを示している。