[論文レビュー] Private Center Points and Learning of Halfspaces

Amos Beimel, Shay Moran+2 more|arXiv (Cornell University)|Feb 27, 2019

Privacy-Preserving Technologies in Data参考文献 29被引用数 6

ひとこと要約

本稿では、有限ドメイン $X \subset \mathbb{R}^d$ 上のハーフスペースのための微分プライバシー学習者を提示する。サンプル複雑性は $\mathop{\rm{poly}}\nolimits(d, 2^{\log^* |X|})$ であり、これは $m$ 個の点の近似センター・ポイントを計算するための新しい微分プライバシー手法によって達成される。主な貢献は、プライベートなセンター・ポイント計算とプライベートなハーフスペース学習の間の関係を確立したことであり、近似的な微分プライバシー下で $|X|$ に関して対数より小さい複雑性で学習が可能であることを示している。

ABSTRACT

We present a private learner for halfspaces over an arbitrary finite domain $X\subset \mathbb{R}^d$ with sample complexity $mathrm{poly}(d,2^{\log^*|X|})$. The building block for this learner is a differentially private algorithm for locating an approximate center point of $m>\mathrm{poly}(d,2^{\log^*|X|})$ points -- a high dimensional generalization of the median function. Our construction establishes a relationship between these two problems that is reminiscent of the relation between the median and learning one-dimensional thresholds [Bun et al.\ FOCS '15]. This relationship suggests that the problem of privately locating a center point may have further applications in the design of differentially private algorithms. We also provide a lower bound on the sample complexity for privately finding a point in the convex hull. For approximate differential privacy, we show a lower bound of $m=Ω(d+\log^*|X|)$, whereas for pure differential privacy $m=Ω(d\log|X|)$.

研究の動機と目的

• 純粋な微分プライバシーと比較して、改善されたサンプル複雑性を有する、有限ドメイン $X \subset \mathbb{R}^d$ 上のハーフスペースのための微分プライバシー的アルゴリズムの設計。
• プライベートなセンター・ポイント計算とプライベートなハーフスペース学習の間の関係を確立し、メディアン-スレッショルド学習の関係に類似した関係を示すこと。
• ハーフスペース、ボール、多項式などの豊かな概念クラスに対する近的プライベート学習の理解のギャップを埋めること。
• 純粋および近的微分プライバシー下で、凸包に属する点を発見するためのサンプル複雑性のタイトな下界を提供すること。
• $|C|$ が $|X|$ の指数関数的である場合でさえ、ハーフスペースのプライベート学習が $\log|C|$ よりも遅く成長するサンプル複雑性で可能であることを示すこと。

提案手法

• アプローチは、プライベートなハーフスペース学習を、訓練データの凸包に属する点を求める問題に還元すること。
• 高次元空間における $m$ 個の入力点の近似センター・ポイントを計算するための微分プライバシー的アルゴリズムを設計する。これはメディアン関数の一般化である。
• センター・ポイントアルゴリズムは、線形独立な部分集合のランダムサンプリングと、基底に基づく表現を用いて、プライバシーと正しさを保証する。
• 確率的議論を用いて、データセットからランダムに選ばれた $d/2$ 個の点の部分集合が、高確率で線形独立であり、空間の大部分を張ることを示す。
• プライバシー解析では、出力が個々のデータポイントに与える感度を評価し、プライバシー損失を制限するために高度な合成定理を適用する。
• アルゴリズムの正しさは、線形代数と集中不等式を用いて、出力が高確率で凸包に属することを示すことによって確立される。

実験結果

リサーチクエスチョン

• RQ1 近的微分プライバシー下で、ハーフスペースのプライベート学習は、$|X|$ に関してサブラインアーダムのサンプル複雑性で達成可能か？
• RQ2 プライベートなセンター・ポイント計算と、ハーフスペースのような幾何的概念クラスのプライベート学習との間に、一般化された関係は存在するか？
• RQ3 純粋および近的微分プライバシー下で、データセットの凸包に属する点を私的に計算するための最適なサンプル複雑性は何か？
• RQ4 純粋な微分プライバシー下で必要とされる $O(d \log |X|)$ よりも、ハーフスペースのプライベート学習のサンプル複雑性を改善できるか？
• RQ5 プライベートなセンター・ポイントアルゴリズムは、多項式やボールのようなより包括的な概念クラスのプライベート学習を可能にするか？

主な発見

• 本稿では、サンプル複雑性が $\mathop{\rm{poly}}\nolimits(d, 2^{\log^* |X|})$ のプライベートなハーフスペース学習者を提示する。これは、純粋な微分プライバシー下で必要とされる $O(d \log |X|)$ の境界よりも顕著に小さい。
• 主なインサイトは、プライベートなハーフスペース学習を、プライベートなセンター・ポイントアルゴリズムを介して、凸包に属する点を私的に計算する問題に還元できることにある。
• 近的微分プライバシー下で、凸包に属する点を私的に発見するためのサンプル複雑性に $\Omega(d + \log^* |X|)$ の下界を確立した。
• 純粋な微分プライバシー下で、凸包への属するためのサンプル複雑性の下界は $\Omega(d \log |X|)$ であり、これは既知のプライベートなハーフスペース学習の上界と一致する。
• プライベートなセンター・ポイントアルゴリズムが高確率で正しく動作し、微分プライバシー的であることが示された。これは、ランダムな部分集合の線形独立性と基底表現に依存する。
• 解析により、プライバシー損失が高度な合成によって制限され、データセットが十分に大きい場合、出力が高確率で凸包に属することが保証される。