[論文レビュー] Sample Complexity Bounds on Differentially Private Learning via Communication Complexity

Vitaly Feldman, David Xiao|arXiv (Cornell University)|Feb 25, 2014

Privacy-Preserving Technologies in Data参考文献 45被引用数 12

ひとこと要約

この論文は、純粋な微分プライバシー学習のサンプル複雑性と、概念評価の確率的1方向通信複雑性の間のきつい関係を確立し、純粋な微分プライバシーが、非プライベートまたは近似プライベート学習よりも顕著に多くのサンプルを必要とすることを示している。本研究は、純粋プライバシー下でのサンプル複雑性が非有界に高くなる可能性を示し、リトルスタイン次元と通信複雑性のツールを用いてタイトな境界を確立することで、未解決の問題を解決した。

ABSTRACT

In this work we analyze the sample complexity of classification by differentially private algorithms. Differential privacy is a strong and well-studied notion of privacy introduced by Dwork et al. (2006) that ensures that the output of an algorithm leaks little information about the data point provided by any of the participating individuals. Sample complexity of private PAC and agnostic learning was studied in a number of prior works starting with (Kasiviswanathan et al., 2008) but a number of basic questions still remain open, most notably whether learning with privacy requires more samples than learning without privacy. We show that the sample complexity of learning with (pure) differential privacy can be arbitrarily higher than the sample complexity of learning without the privacy constraint or the sample complexity of learning with approximate differential privacy. Our second contribution and the main tool is an equivalence between the sample complexity of (pure) differentially private learning of a concept class $C$ (or $SCDP(C)$) and the randomized one-way communication complexity of the evaluation problem for concepts from $C$. Using this equivalence we prove the following bounds: 1. $SCDP(C) = \\Omega(LDim(C))$, where $LDim(C)$ is the Littlestone's (1987) dimension characterizing the number of mistakes in the online-mistake-bound learning model. Known bounds on $LDim(C)$ then imply that $SCDP(C)$ can be much higher than the VC-dimension of $C$. 2. For any $t$, there exists a class $C$ such that $LDim(C)=2$ but $SCDP(C) \\geq t$. 3. For any $t$, there exists a class $C$ such that the sample complexity of (pure) $\\alpha$-differentially private PAC learning is $\\Omega(t/\\alpha)$ but the sample complexity of the relaxed $(\\alpha,\\beta)$-differentially private PAC learning is $O(\\log(1/\\beta)/\\alpha)$. This resolves an open problem of Beimel et al. (2013b).

研究の動機と目的

• 純粋な微分プライバシーのPAC学習およびアンタゴニスティック学習における根本的なサンプル複雑性コストを理解すること。
• 純粋な微分プライバシーが、非プライベートまたは近似プライベート学習よりも多くのサンプルを必要とするかどうかという未解決の問題を解明すること。
• 純粋な微分プライバシー学習のサンプル複雑性と、確率的1方向通信複雑性との間の正式な同等性を確立すること。
• リトルスタイン次元のような組合せ的測度を用いて、純粋プライベート学習のサンプル複雑性を特徴づけること。
• 純粋と近似微分プライバシーの間のサンプル効率性の分離を示すこと。

提案手法

• 著者らは、概念クラス $ C $ の純粋な微分プライバシー学習のサンプル複雑性 $ \mathrm{SCDP}(C) $ と、$ C $ に属する概念の評価の確率的1方向通信複雑性との間の新しい同等性を導入した。
• この同等性を用いて、特にリトルスタイン次元に関連する既知の通信複雑性の境界を基に、$ \mathrm{SCDP}(C) $ の下界を導出した。
• 主な技術的ツールは、確率的表現による概念クラスの表現であり、プライバシー制約を情報理論的限界（相互情報量）に結びつけるものである。
• 指数的機構と合成定理を適用して、失敗確率 $ \delta $ に依存する依存関係を改善し、近似微分プライバシーの下で $ O(\log(1/\delta)/\alpha) $ のサンプル複雑性を達成した。
• 通信複雑性と情報理論の結果を活用して、プライバシー制約下でのサンプル複雑性のタイトな境界を導出した。
• プライベート学習から通信複雑性への還元を用い、任意のプライベート学習アルゴリズムが、コストが有界な通信プロトコルをもたらすことを示した。

実験結果

リサーチクエスチョン

• RQ1 純粋な微分プライバシー学習のサンプル複雑性は、非プライベートまたは近似プライベート学習よりも厳密に高いのか？
• RQ2 純粋な微分プライバシー学習のサンプル複雑性は通信複雑性によって特徴づけられるか？
• RQ3 リトルスタイン次元は、純粋な微分プライバシー学習のサンプル複雑性に対してタイトな下界を提供するか？
• RQ4 サンプル複雑性の観点から、純粋と近似微分プライバシーの間の定量的ギャップは何か？
• RQ5 概念クラスのサイズに依存せずに、プライベート学習のサンプル複雑性を上限で抑えられるか？

主な発見

• 純粋な微分プライバシー学習のサンプル複雑性 $ \mathrm{SCDP}(C) $ は、$ \Omega(\mathrm{LDim}(C)) $ で下界づけられる。ここで $ \mathrm{LDim}(C) $ は概念クラス $ C $ のリトルスタイン次元である。
• 任意の $ t $ に対して、$ \mathrm{LDim}(C) = 2 $ であるが $ \mathrm{SCDP}(C) \geq t $ となるような概念クラス $ C $ が存在し、リトルスタイン次元とサンプル複雑性の間のギャップが非有界に大きくなる可能性があることを示している。
• 任意の $ t $ に対して、純粋 $ \alpha $-微分プライバシーPAC学習のサンプル複雑性が $ \Omega(t/\alpha) $ であるが、近似 $ (\alpha,\beta) $-微分プライバシー学習のサンプル複雑性が $ O(\log(1/\beta)/\alpha) $ であるような概念クラス $ C $ が存在する。これはBeimelら（2013b）が提起した未解決問題を解決するものである。
• VC次元が小さくても、純粋な微分プライバシー学習のサンプル複雑性は、非プライベート学習のそれよりも顕著に高くなる可能性がある。
• $ \mathrm{SCDP}(C) $ と概念評価の確率的1方向通信複雑性との同等性は、プライベート学習を分析するための新しい強力なツールを提供する。
• 結果として、近似微分プライバシーは、特に $ \delta $ への依存性の観点から、純粋微分プライバシーに比べて著しくサンプル効率が良いことが示された。