[論文レビュー] Privately Learning Thresholds: Closing the Exponential Gap

Haim Kaplan, Katrina Ligett+3 more|arXiv (Cornell University)|Nov 22, 2019

Privacy-Preserving Technologies in Data参考文献 11被引用数 4

ひとこと要約

この論文は、近似的な微分プライバシー下での閾値関数の微分プライベート学習における、既知の下界と上界の間の指数的ギャップを埋めることに成功した。再帰的ハッシュ化とパス構築に基づく新しいアルゴリズムを提案し、サンプル複雑性を Õ((log* |X|)^1.5) にまで低下させ、先行研究を著しく改善し、この問題の漸近的サンプル複雑性をほぼ決定づけた。

ABSTRACT

We study the sample complexity of learning threshold functions under the constraint of differential privacy. It is assumed that each labeled example in the training data is the information of one individual and we would like to come up with a generalizing hypothesis $h$ while guaranteeing differential privacy for the individuals. Intuitively, this means that any single labeled example in the training data should not have a significant effect on the choice of the hypothesis. This problem has received much attention recently; unlike the non-private case, where the sample complexity is independent of the domain size and just depends on the desired accuracy and confidence, for private learning the sample complexity must depend on the domain size $X$ (even for approximate differential privacy). Alon et al. (STOC 2019) showed a lower bound of $Ω(\log^*|X|)$ on the sample complexity and Bun et al. (FOCS 2015) presented an approximate-private learner with sample complexity $ ilde{O}\left(2^{\log^*|X|} ight)$. In this work we reduce this gap significantly, almost settling the sample complexity. We first present a new upper bound (algorithm) of $ ilde{O}\left(\left(\log^*|X| ight)^2 ight)$ on the sample complexity and then present an improved version with sample complexity $ ilde{O}\left(\left(\log^*|X| ight)^{1.5} ight)$. Our algorithm is constructed for the related interior point problem, where the goal is to find a point between the largest and smallest input elements. It is based on selecting an input-dependent hash function and using it to embed the database into a domain whose size is reduced logarithmically; this results in a new database, an interior point of which can be used to generate an interior point in the original database in a differentially private manner.

研究の動機と目的

• 微分プライベートな閾値関数学習のサンプル複雑性に関する、既知の最良の下界と上界の間の指数的ギャップを埋めること。
• 近似的な微分プライバシー下で、閾値学習に近似的に最適なサンプル複雑性を達成するプライベートなアルゴリズムを設計すること。
• ドメインサイズの効率的かつ再帰的な縮小を可能にする、プライベートな内部点探索のための新技術を開発すること。
• 既存の上界 Õ(2^{log* |X|}) を、Õ((log* |X|)^1.5) にまで低減することで、前例を上回ること。
• 精度、プライバシーパラメータ、ドメインサイズの観点から、提案されたアルゴリズムのタイトなユーティリティとプライバシー保証を確立すること。

提案手法

• 入力に依存するハッシュ関数を用いて、元のデータベースをより小さなドメインに埋め込む再帰的アルゴリズム HeavyPaths を提案し、内部点をプライベートに特定する。
• 各レベルでドメインサイズを対数的に縮小するように、入力依存のハッシュ関数を用いて、元のドメインを小さなドメインに埋め込む。
• 深さに基づくパス構築メカニズムを採用し、選択された点が高確率で内部点であることを保証する。
• 複数の再帰的ステップとサブルーチンを跨ぐプライバシー損失を制限するために、高度な微分プライバシーの合成定理を適用する。
• 各レベルで内部点の深さのプライベート推定値を維持する多段階の縮小戦略を採用し、再帰的精錬を可能にする。
• 適切な再帰深さを決定するための統計的検定に基づく停止基準を導入し、ユーティリティを保ちながらプライバシーを維持する。

実験結果

リサーチクエスチョン

• RQ1 近似的な微分プライバシー下での微分プライベートな閾値関数学習の、最もタイトなサンプル複雑性は何か？
• RQ2 Ω(log* |X|) の下界と Õ(2^{log* |X|}) の上界の間のギャップを著しく縮小することは可能か？
• RQ3 定数の精度と信頼度を維持しつつ、log* |X| に対して指数的でない依存関係を達成するプライベートなアルゴリズムを設計することは可能か？
• RQ4 プライベートなハッシュ化による再帰的ドメイン縮小をどのように活用し、強力なユーティリティ保証を持つプライベートな内部点探索器を構築できるか？
• RQ5 ε と δ のプライバシー解析をどのように洗練させれば、log* |X| と n の観点からよりタイトな境界を得られるか？

主な発見

• この論文は、微分プライベートな閾値関数学習のサンプル複雑性に対して、新たな上界 Õ((log* |X|)^1.5) を達成し、以前の Õ(2^{log* |X|}) の上界を著しく改善した。
• アルゴリズム HeavyPaths は、n ≥ Ω((log* |X|)/ε) · log(1/(δ · log* |X|)) のとき、入力データベースの内部点を確率 1 - O(δ · log* |X|) 以上で返す。
• このアルゴリズムは、(O(ε·√(log* |X|·log(1/(δ·log* |X|)))) + ε²·log* |X| + ε·log n, O(δ·(n + log* |X|)·e^{O(ε·√(log* |X|·log(1/(δ·log* |X|))))}))-微分プライベートである。
• プライベートなハッシュ化を用いて、各再帰的レベルでドメインサイズを対数的に縮小することで、効率的かつプライベートなパス構築が可能になった。
• 解析により、再帰のすべての段階で高いユーティリティが維持され、最終出力が高確率で有効な内部点であることが保証された。
• 結果として、プライベートな閾値学習のサンプル複雑性はほぼ決定づけられ、長年の指数的ギャップが閉じられた。