[論文レビュー] Private Learning and Sanitization: Pure vs. Approximate Differential Privacy

Amos Beimel, Kobbi Nissim+1 more|arXiv (Cornell University)|Jul 10, 2014

Cryptography and Data Security参考文献 11被引用数 4

ひとこと要約

この論文は、プライベートな学習および洗練の文脈において、純粋な微分プライバシーと近似微分プライバシーを比較し、特に再帰的アルゴリズムを用いた準凸的プロミス問題の枠組みを活用することで、近似微分プライバシーが、閾値関数や点関数の学習といったタスクにおいて、標本複雑性を顕著に低減できることを示している。主な結果は、(ε,δ)-微分プライバシーにおける小さなδ > 0でさえ、純粋なε-微分プライバシーに比べて標本複雑性の向上を可能にすることを示している。

ABSTRACT

We compare the sample complexity of private learning [Kasiviswanathan et al. 2008] and sanitization~[Blum et al. 2008] under pure $ε$-differential privacy [Dwork et al. TCC 2006] and approximate $(ε,δ)$-differential privacy [Dwork et al. Eurocrypt 2006]. We show that the sample complexity of these tasks under approximate differential privacy can be significantly lower than that under pure differential privacy. We define a family of optimization problems, which we call Quasi-Concave Promise Problems, that generalizes some of our considered tasks. We observe that a quasi-concave promise problem can be privately approximated using a solution to a smaller instance of a quasi-concave promise problem. This allows us to construct an efficient recursive algorithm solving such problems privately. Specifically, we construct private learners for point functions, threshold functions, and axis-aligned rectangles in high dimension. Similarly, we construct sanitizers for point functions and threshold functions. We also examine the sample complexity of label-private learners, a relaxation of private learning where the learner is required to only protect the privacy of the labels in the sample. We show that the VC dimension completely characterizes the sample complexity of such learners, that is, the sample complexity of learning with label privacy is equal (up to constants) to learning without privacy.

研究の動機と目的

• 純粋なε-微分プライバシーと近似(ε,δ)-微分プライバシーの下でのプライベートな学習および洗練の標本複雑性を分析・比較すること。
• 近似微分プライバシーの緩和が、基本的な学習および洗練タスクにおいて、純粋な微分プライバシーに比べて顕著に低い標本複雑性を実現可能かどうかを調査すること。
• 準凸的プロミス問題のための再帰的フレームワークを構築し、効率的なプライベートな学習者および洗練者を可能にすること。
• ラベルプライベートな学習者の標本複雑性を特徴づけ、非プライベートな学習と定数倍の差異で一致することを示すこと。これは、完全なプライベート学習とは対照的である。
• 高次元空間における軸に平行な長方形のクラスについて、(ε,δ)-微分プライバシー下でのプライベートな学習の、最もタイトな標本複雑性を特定すること。

提案手法

• 学習および洗練タスクを一般化する「準凸的プロミス問題」と呼ばれる最適化問題の族を導入する。
• 同じ問題のより小さいインスタンスを解くことで、準凸的プロミス問題をプライベートに近似する再帰的アルゴリズムを開発する。
• 再帰的フレームワークを応用し、高次元空間における点関数、閾値関数、および軸に平行な長方形のための効率的な(ε,δ)-プライベートな学習者を構築する。
• 指数的メカニズムおよびラプラスメカニズムを用いて、学習および洗練のパイプラインにおける微分プライバシーを保証する。
• 集中限界およびVC理論を活用し、一般化誤差を抑え、プライベートな仮説の正しさを保証する。
• ラベルプライベートモデルに一般的なプライベート学習者の構築法を適応する。これにより、ラベルのプライバシーと例のプライバシーを分離し、標本複雑性をVC次元に比例させるのではなく、log|C|に比例させるようにする。

実験結果

リサーチクエスチョン

• RQ1 近似微分プライバシーは、純粋な微分プライバシーに比べて、プライベートな学習および洗練の標本複雑性を低減可能か？
• RQ2 点関数や閾値関数といった基本的な概念クラスにおいて、純粋な微分プライバシーと近似微分プライバシーの間の標本複雑性のギャップは何か？
• RQ3 準凸的プロミス問題に対する再帰的技法を用いて、効率的なプライベートな学習者および洗練者を設計可能か？
• RQ4 ラベルプライベートな学習は、非プライベートな学習と同等の標本複雑性を達成可能か？その場合、どのような条件下で可能か？
• RQ5 高次元空間における軸に平行な長方形のプライベートな学習において、(ε,δ)-微分プライバシー下で得られる最もタイトな標本複雑性は何か？

主な発見

• (ε,δ)-微分プライバシー下でのプライベートな学習および洗練の標本複雑性は、純粋なε-微分プライバシーに比べて顕著に低くなる可能性がある。これは、δ > 0が極めて小さい場合でも同様である。
• d次元における閾値関数の学習において、本論文は標本複雑性O(1)の適切な(ε,δ)-プライベートな学習者を構築した。一方、純粋な微分プライバシーではΩ(d)の標本数が必要となる。
• 準凸的プロミス問題に対する再帰的アプローチにより、標本複雑性が低減されたプライベート近似が可能となり、特に点関数や閾値関数のタスクで顕著な効果を示す。
• ラベルプライベートな学習者は、定数倍の差異で非プライベートな学習と同等の標本複雑性O(VC(C))を達成する。これは、完全なプライベート学習とは対照的であり、後者ではO(log|C|)の標本数が必要となる。
• 分布が公開されているが、ラベルおよびデータの存在が保護される半プライベートな学習者モデルは、完全なプライベート学習と同等の標本複雑性O(VC(C))を達成し、これがタイトであることが示された。
• 本論文は、d次元における閾値関数の純粋なプライベート学習に対してΩ(d)の下界を確立し、近似プライバシーの優位性を強調している。