[論文レビュー] Simultaneous Private Learning of Multiple Concepts

Mark Bun, Kobbi Nissim+1 more|arXiv (Cornell University)|Nov 27, 2015

Privacy-Preserving Technologies in Data被引用数 15

ひとこと要約

この論文は、微分プライバシー下でのk個の概念を同時に学習する際のサンプル複雑性を調査し、特にパリティという単純な概念クラスに対しても、プライベートなマルチラーニングがkの多項式的に増大するサンプル複雑性を必要とすることを示している。均一分布下でのkパリティの学習に対して、Ω(kd/ε)のタイトな下界を確立し、プライバシーがk個の概念の数に比例して増大する根本的なコストをもたらすことを示している。

ABSTRACT

We investigate the direct-sum problem in the context of differentially private PAC learning: What is the sample complexity of solving $k$ learning tasks simultaneously under differential privacy, and how does this cost compare to that of solving $k$ learning tasks without privacy? In our setting, an individual example consists of a domain element $x$ labeled by $k$ unknown concepts $(c_1,\ldots,c_k)$. The goal of a multi-learner is to output $k$ hypotheses $(h_1,\ldots,h_k)$ that generalize the input examples. Without concern for privacy, the sample complexity needed to simultaneously learn $k$ concepts is essentially the same as needed for learning a single concept. Under differential privacy, the basic strategy of learning each hypothesis independently yields sample complexity that grows polynomially with $k$. For some concept classes, we give multi-learners that require fewer samples than the basic strategy. Unfortunately, however, we also give lower bounds showing that even for very simple concept classes, the sample cost of private multi-learning must grow polynomially in $k$.

研究の動機と目的

• 微分プライバシー下でのPAC学習における直接和問題を理解すること：k個の概念を同時に学習する際のサンプル複雑性が、個別に学習する場合と比べてどのように異なるかを明らかにすること。
• 複数の概念を同時に学習する際、プライバシー制約がサンプル複雑性を著しく増加させるかどうかを特定すること。特に、非プライベートの場合にはkに依存しないのに対し、プライベートな状況ではその依存性が顕著になるかを検討すること。
• 均一分布下でのkパリティの学習に対して、微分プライバシー下でのサンプル複雑性のタイトな下界を確立すること。kとd（次元）に関して多項式的に増大することを示す。
• プライベートなマルチラーナーが、各概念を個別に学習する場合よりも高いサンプル効率を達成できるかどうかを調査すること。特にパリティのような概念クラスにおいてその可能性を検討すること。
• プライベートな設定における適切な学習と不適切な学習の関係を明確にすること。パリティのケースでは、適切な学習と不適切な学習が同じサンプル複雑性を持つことから、下界を示す際に適切なラーナーを仮定しても一般性を失わないことを示すこと。

提案手法

• 概念クラスのサイズに基づくパッキングの議論を用いて、サンプル複雑性の下界を導出する。プライベートラーナーが多数の可能な概念タプルを区別できなければならないという事実を活用する。
• 微分プライバシーの制約を適用する際、データベースの1行（1人の個人のデータ）を変更した場合の出力分布への影響を分析し、成功確率が指数関数的に減少することを導く。
• 後処理の議論を用いて、パリティに関しては、任意の不適切なラーナーを、サンプル複雑性を増加させず、プライバシーを侵害せずに適切なラーナーに変換できることを示す。
• {0,1}^d 上の均一分布を用いてkパリティの学習を分析する。均一分布下では、一致しないパリティ関数の誤差が正確に1/2になるという性質を活用する。
• プライベートラーナーがランダムな概念タプルに対して確率1/2以上で成功すると仮定し、すべての可能な概念タプルにわたるプライバシー制約を適用することで下界を導出する。
• 隣接するデータベースに対して、Pr[A(D_c) = c'] ≥ (1/2)e^{-εn} という不等式を用い、すべての他の可能な概念タプルを考慮することでnの下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 非プライベートな複雑性がkに依存しない場合でも、微分プライバシー下でのマルチ概念学習のサンプル複雑性は、概念の数kに応じて増大するか？
• RQ2 特にパリティのような概念クラスにおいて、プライベートなマルチラーナーが各概念を個別に学習する場合よりも高いサンプル効率を達成できるか？
• RQ3 均一分布下でのkパリティの学習に対して、微分プライバシー下でのサンプル複雑性のタイトな下界は何か？
• RQ4 パリティのような概念クラスにおいて、適切な学習と不適切な学習の間には顕著なギャップがあるか？このギャップは直接和問題に影響を及ぼすか？
• RQ5 概念クラスの構造（例：パリティ）が、一般の概念クラスと比較して、プライベートなマルチ学習のサンプル複雑性にどのように影響を与えるか？

主な発見

• 均一分布下でのkパリティの学習において、任意の(α, β=1/2, ε)-PAC k-ラーナーは、サンプル複雑性Ω(kd/ε)を必要とし、これは対数要因を除いてタイトである。
• この下界Ω(kd/ε)は、ターゲット概念が正確に学習されても成立する。これは、プライバシーがマルチ概念学習のコストを根本的に増加させることを示している。
• パリティという非常に単純な概念クラスに対しても、プライベートなマルチ学習のサンプル複雑性はkに関して多項式的に増大する。これは、プライバシーが非自明なコストをもたらすことを示している。
• パリティのケースでは、適切な学習と不適切な学習のサンプル複雑性が同一であるため、下界を示す際には適切なラーナーを仮定しても一般性を失わない。
• プライベート学習における直接和問題は自明ではない。非プライベート学習とは異なり、k個の概念を同時に学習するコストは、個別に学習する場合のコストと等しくない。
• 解析により、可能な概念タプルの数（|PAR_d|^k）とプライバシー制約が組み合わさることで、nの下界がk/εに比例するようになり、パリティの構造に起因するdの因子が追加される。