[論文レビュー] Private Identity Testing for High-Dimensional Distributions

Clément L. Canonne, Gautam Kamath+3 more|arXiv (Cornell University)|May 28, 2019

Privacy-Preserving Technologies in Data参考文献 85被引用数 9

ひとこと要約

本稿では、ハイパーキューブ {±1}^d 上の高次元分布に対する、差分プライバシーを満たすアイデンティティテストアルゴリズムを提案する。この手法は、適応的誤差しきい値を用いた再帰的リプシッツ拡張テストを採用し、次元 d に対して部分線形に増加するサンプル複雑性を達成する。プライバシーのパラメータ ε と β が、正確性と信頼性を制御する。

ABSTRACT

In this work we present novel differentially private identity (goodness-of-fit) testers for natural and widely studied classes of multivariate product distributions: Gaussians in $\mathbb{R}^d$ with known covariance and product distributions over $\{\pm 1\}^{d}$. Our testers have improved sample complexity compared to those derived from previous techniques, and are the first testers whose sample complexity matches the order-optimal minimax sample complexity of $O(d^{1/2}/α^2)$ in many parameter regimes. We construct two types of testers, exhibiting tradeoffs between sample complexity and computational complexity. Finally, we provide a two-way reduction between testing a subclass of multivariate product distributions and testing univariate distributions, and thereby obtain upper and lower bounds for testing this subclass of product distributions.

研究の動機と目的

• ハイパーキューブ {±1}^d 上の高次元分布に対する差分プライバシー型アイデンティティテストプロトコルの設計。
• (ε, β)-差分プライバシーと定数の統計的正確性を保証しながら、サンプル複雑性を最小限に抑えること。
• リプシッツ拡張テストを再帰的に用いて誤差しきい値を段階的に精密化することで、高次元性の課題に対処すること。
• 次元 d に対して部分線形に増加するサンプル複雑性を達成し、従来の非プライベートまたはより非適応的な手法よりも優れる。
• 再帰的テスト手順のプライバシー、正しさ、収束性に関する理論的保証を提供すること。

提案手法

• アルゴリズムは M = ⌈log n⌉ で初期化し、ε′ = ε/M を設定して、再帰的ステップ間でプライバシー予算を配分する。
• Δ* は d、√(nd)、および (ln(1/β))/ε′ を組み合わせた合成しきい値として定義され、スケールにわたるロバスト性を確保する。
• m が 1 から M−1 まで繰り返し、Δ^(m) を計算する。再帰的更新式 Δ^(m+1) = 11(d + √(nd) + Δ^(m)/(nε′) + √(Δ^(m)/ε′)) · ln(1/β) を用いる。
• 各ステップで、LipschitzExtensionTest(X, ε′, Δ^(m), β) を呼び出し、分布がターゲットから Δ^(m) の距離内にあるかを確認する。
• 任意の段階でテストが却認された場合、アルゴリズムは直ちに「却認」を返す。これによりプライバシーと正しさが保証される。
• Δ^(m) ≤ Δ* となるまでループを継続し、最終的に Δ^(M) を Δ^(m) に設定してプロセスを終了し、決定を下す。

実験結果

リサーチクエスチョン

• RQ1 高次元 {±1}^d 分布に対して、部分線形なサンプル複雑性を達成する差分プライバシー型アイデンティティテストを構築可能か？
• RQ2 プライバシー予算を再帰的ステップ間で適応的に配分することで、正確性とプライバシーを維持する方法は何か？
• RQ3 高次元設定におけるプライベートアイデンティティテストに必要な最小サンプル複雑性は何か？
• RQ4 再帰的しきい値設定機構は、単一ステップ手法と比較してどのようにロバスト性を向上させるか？
• RQ5 再帰的リプシッツ拡張テストの収束性と正しさについて、どのような理論的保証を示せるか？

主な発見

• 再帰的リプシッツ拡張テストの適用により、ε′ = ε/M を用いて (ε, β)-差分プライバシーが達成される。
• 最終的なサンプル複雑性は、O(d + √(nd) + (1/ε′) · √(Δ^(m)/ε′)) · ln(1/β) で上限が保証され、Δ^(m) は n に関して対数的に増加する。
• アルゴリズムは O(log n) 回の反復で終了し、高次元環境下での効率性が保証される。
• 再帰的しきい値更新により、Δ^(m) の増加が緩やかに保たれ、正確性を維持しながらプライバシーを確保する。
• 中間のリプシッツ拡張テストが失敗した場合、テストは「却認」を返す。これにより、プライバシー制約下でも正しさが保証される。
• サンプル複雑性が次元 d に対して部分線形に依存するため、高次元データにスケーラブルである。