[論文レビュー] Priv'IT: Private and Sample Efficient Identity Testing

Bryan Cai, Constantinos Daskalakis+1 more|arXiv (Cornell University)|Mar 29, 2017

Privacy-Preserving Technologies in Data参考文献 22被引用数 12

ひとこと要約

Priv'IT は、小標本領域において最適な標本複雑性を達成する、差分プライバシーを適用したアイデンティティテスト手法を提示する。プライバシーと統計的効率性を両立させ、既存のノイズ付きカイ二乗検定や繰り返しベースの手法を凌駕する。プライバシーのパラメータ ε が統計的精度 α より十分に大きい場合には、プライバシーのコストがほぼゼロになることが示された。

ABSTRACT

We develop differentially private hypothesis testing methods for the small sample regime. Given a sample $\cal D$ from a categorical distribution $p$ over some domain $Σ$, an explicitly described distribution $q$ over $Σ$, some privacy parameter $\varepsilon$, accuracy parameter $α$, and requirements $β_{ m I}$ and $β_{ m II}$ for the type I and type II errors of our test, the goal is to distinguish between $p=q$ and $d_{ m{TV}}(p,q) \geq α$. We provide theoretical bounds for the sample size $|{\cal D}|$ so that our method both satisfies $(\varepsilon,0)$-differential privacy, and guarantees $β_{ m I}$ and $β_{ m II}$ type I and type II errors. We show that differential privacy may come for free in some regimes of parameters, and we always beat the sample complexity resulting from running the $χ^2$-test with noisy counts, or standard approaches such as repetition for endowing non-private $χ^2$-style statistics with differential privacy guarantees. We experimentally compare the sample complexity of our method to that of recently proposed methods for private hypothesis testing.

研究の動機と目的

• 機微なデータに対して (ε,0)-差分プライバシーを保証しつつ、アイデンティティテストを実行する課題に対処すること。
• 第 I 型および第 II 型の誤差率（β_I, β_II）に厳密な制約がある中で、標本複雑性を最小化すること。
• 小標本設定においても高い統計的パワーを維持しながらプライバシーを保つ手法を開発すること。
• 差分プライバシーが、特定のパrameter領域では追加の標本コストなしに達成可能であることを実証すること。

提案手法

• プライバシー化された経験的度数と特化した統計的検定に基づく、新しいプライベートな仮説検定フレームワークを提案する。
• （ε,0）-差分プライバシーに適合するノイズを調整した、プライバシー化されたカイ二乗検定統計量を用いる。
• 度数がスパースな低確率領域において統計量を安定化させるための射影ベースのメカニズムを適用する。
• √n/α²、√n/(α³/²ε)、n¹/³/(α⁵/³ε²/³) に依存する標本サイズの上限を導入し、1/β に対して対数的依存性を有する。
• 統計的有用性を保ちつつ、慎重に設計されたノイズ追加メカニズムによりプライバシーを確保する。
• 理論的解析を活用して、本手法が (ε,0)-差分プライバシーおよび所望の誤差保証を達成することを証明する。

実験結果

リサーチクエスチョン

• RQ1 アイデンティティテストにおいて、差分プライバシーを最小限の標本複雑性のオーバーヘッドで達成できるか？
• RQ2 どのようなパrameter領域において、差分プライバシーが「無料」（すなわち、標本サイズの増加なしに）実現可能か？
• RQ3 zCDP-GOF や MCGOF などの既存のプライベート仮説検定手法と比較して、Priv'IT の標本効率性はどの程度か？
• RQ4 分布の構造（例：重尾型またはヒストグラム型）が、プライベートアイデンティティテストの性能に与える影響は何か？
• RQ5 実際の応用において、（素朴な）差分プライバシーは zCDP ベースの手法よりも優れた標本効率性を示すか？

主な発見

• Priv'IT は Õ(max{√n/α², √n/(α³/²ε), n¹/³/(α⁵/³ε²/³}) · log(1/β) の標本複雑性を達成し、対数的要因を除いて最適である。
• ε = Ω(√α) の場合、例えば ε = 10% かつ α = 3% のとき、プライバシーのための追加標本は不要であり、プライバシーが「無料」になる。
• 実験では、2 ヒストグラム（スパースサポート付き）を含むすべてのテスト分布において、Priv'IT は zCDP-GOF や MCGOF を上回った。
• 近似的な差分プライバシー（δ > 0）を用いた一様性検定において、Priv'IT はテストされたすべての δ 値で zCDP-GOF より少ない標本数を要した。
• zCDP-GOF は O(n²) の行列演算を要し、n = 11,800 でメモリ不足に陥ったのに対し、Priv'IT はよりメモリ効率的であった。
• 実行時間においても Priv'IT は高速であり、MCGOF が n = 10,000 に達したのに対し、Priv'IT は n = 20,000 のサポートサイズを同じ時間に処理できた。