[論文レビュー] Learning from Mixtures of Private and Public Populations

Raef Bassily, Shay Moran+1 more|arXiv (Cornell University)|Aug 1, 2020

Statistical Methods and Inference被引用数 5

ひとこと要約

本論文は、プライベート（感受性のある）およびパブリック（非感受性のある）サブポピュレーションの混合からなるデータを前提とした、新しいプライバシー保護型学習モデルを提案する。プライバシー制約は、プライベート側にのみ適用される。線形分類器をℝᵈで学習可能であり、サンプル複雑性は非プライベートなPAC学習と同等に保たれる。これは、プライベートおよびパブリックデータの分布に構造的差異があること、特にプライバシー状態がラベルと相関している場合でも達成可能である。

ABSTRACT

We initiate the study of a new model of supervised learning under privacy constraints. Imagine a medical study where a dataset is sampled from a population of both healthy and unhealthy individuals. Suppose healthy individuals have no privacy concerns (in such case, we call their data public) while the unhealthy individuals desire stringent privacy protection for their data. In this example, the population (data distribution) is a mixture of private (unhealthy) and public (healthy) sub-populations that could be very different. Inspired by the above example, we consider a model in which the population $\mathcal{D}$ is a mixture of two sub-populations: a private sub-population $\mathcal{D}_{\sf priv}$ of private and sensitive data, and a public sub-population $\mathcal{D}_{\sf pub}$ of data with no privacy concerns. Each example drawn from $\mathcal{D}$ is assumed to contain a privacy-status bit that indicates whether the example is private or public. The goal is to design a learning algorithm that satisfies differential privacy only with respect to the private examples. Prior works in this context assumed a homogeneous population where private and public data arise from the same distribution, and in particular designed solutions which exploit this assumption. We demonstrate how to circumvent this assumption by considering, as a case study, the problem of learning linear classifiers in $\mathbb{R}^d$. We show that in the case where the privacy status is correlated with the target label (as in the above example), linear classifiers in $\mathbb{R}^d$ can be learned, in the agnostic as well as the realizable setting, with sample complexity which is comparable to that of the classical (non-private) PAC-learning. It is known that this task is impossible if all the data is considered private.

研究の動機と目的

• プライベートおよびパブリックデータ分布の混合から学習する課題に対処すること。ここでは、プライバシー制約が感受性のあるデータにのみ適用される。
• 過去の研究で一般的に仮定されていた、プライベートおよびパブリックデータの両方に対して同一の分布を仮定する制限を克服すること。
• プライベート例に対してのみ微分プライバシーを満たすが、非プライベート学習に近いサンプル複雑性を達成する学習アルゴリズムを設計すること。
• この新しいモデル下で、アグノスティックおよびレアライズブルな設定において線形分類器がどのように効率的に学習可能かを調査すること。

提案手法

• モデルは、2つのサブポピュレーション（𝒟_priv：プライベート、感受性あり；𝒟_pub：パブリック、非感受性あり）の混合であるデータ分布𝒟を仮定する。プライバシー状態ビットがデータの出所を示す。
• 学習アルゴリズムは、𝒟_privからの例に対してのみ微分プライバシーを満たす必要がある。𝒟_pubに対しては不要である。
• 本手法は、𝒟_privと𝒟_pubの間の構造的差異、特にプライバシー状態とターゲットラベルの相関がある場合に有効に活用する。
• アグノスティックおよびレアライズブルなPAC学習の技術を、パブリックデータを非プライベート、プライベートデータを微分プライバシー下で扱うように適応して用いる。
• 分析により、プライベートおよびパブリックデータが異なる分布から来ても、サンプル複雑性が古典的PAC学習と同等に保たれることを示した。
• 過去の研究で一般的だった、プライベートおよびパブリックデータの分布が同一であるという仮定に依存しない。

実験結果

リサーチクエスチョン

• RQ1 プライベートおよびパブリックサブポピュレーションが異なる基礎分布から成る場合、線形分類器は効率的に学習可能か？
• RQ2 プライバシー制約がデータの一部（プライベートサブポピュレーション）にのみ適用される状況で、微分プライバシー下での学習のサンプル複雑性はどの程度か？
• RQ3 プライバシー状態とターゲットラベルの相関が、この混合モデル下でのプライベート学習の実現可能性および効率性にどのように影響するか？
• RQ4 プライベートデータが存在するにもかかわらず、非プライベートPAC学習に近いサンプル複雑性を達成することは可能か？
• RQ5 異なる分布を持つプライベートおよびパブリックデータの差異を活用できるように、既存のプライベート学習技術をどのように適合できるか？

主な発見

• 提案されたモデルにより、プライベートおよびパブリックデータが異なる分布から来ても、ℝᵈにおける線形分類器の学習が、古典的非プライベートPAC学習と同等のサンプル複雑性で可能である。
• 本手法は、プライベートおよびパブリックデータの間の差異を活用することで、過去の研究で一般的な同一分布仮定を回避している。
• 主な結果は、プライベートサブポピュレーションに対してのみ微分プライバシーを満たす学習が可能であり、プライバシー状態がターゲットラベルと相関していても成立することである。
• これは、すべてのデータがプライベートとみなされる場合に成立しないという不可能性結果とは対照的であり、プライベートおよびパブリックデータソースを区別することの利点を示している。
• 分析により、新しいモデル下で、アグノスティックおよびレアライズブルな両設定においてもサンプル複雑性が効率的であることが確認された。
• 本手法は、データの混合構造を適切に活用することで、感受性のあるデータにのみプライバシー制約を適用しても、サンプル複雑性の大幅な増加を回避できることを示している。