[論文レビュー] Privately Learning High-Dimensional Distributions

Gautam Kamath, Jerry Li+2 more|arXiv (Cornell University)|May 1, 2018

Privacy-Preserving Technologies in Data参考文献 55被引用数 30

ひとこと要約

本稿では、全変動距離において高次元分布——特に多変量正規分布とブール超立方体上の積分布—を学習する計算効率が良く、微分プライバシーを満たすアルゴリズムを提示する。主な貢献は、パrameterに強い事前境界を必要とせず、幅広いパrameter範囲で非プライベート最適な学習器とほぼ同等のサンプル複雑性を達成する、新しい手法である再帰的プライベート前処理（recursive private preconditioning）の導入である。

ABSTRACT

We present novel, computationally efficient, and differentially private algorithms for two fundamental high-dimensional learning problems: learning a multivariate Gaussian and learning a product distribution over the Boolean hypercube in total variation distance. The sample complexity of our algorithms nearly matches the sample complexity of the optimal non-private learners for these tasks in a wide range of parameters, showing that privacy comes essentially for free for these problems. In particular, in contrast to previous approaches, our algorithm for learning Gaussians does not require strong a priori bounds on the range of the parameters. Our algorithms introduce a novel technical approach to reducing the sensitivity of the estimation procedure that we call recursive private preconditioning.

研究の動機と目的

• 平均や共分散などのパラメータに強い事前境界を必要とせずに、高次元分布のプライベート学習の課題に対処すること。
• 多変量正規分布およびブール超立方体上の積分布を推定する、計算的に効率的な微分プライベートアルゴリズムを開発すること。
• 非プライベート最適な学習アルゴリズムとほぼ同等のサンプル複雑性を達成し、この設定ではプライバシーが最小限のコストしか生じないことを示すこと。
• パラメータ範囲に多項式的依存を示すか、高次元で指数的実行時間となる既存手法の限界を克服すること。

提案手法

• 推定手順の感度を段階的に共分散行列の条件数を改善することで低減する、新しい技法として再帰的プライベート前処理を導入する。
• この前処理を多変量正規分布の平均および共分散推定に適用し、パrameterの境界に関する事前知識がなくてもプライベート学習が可能になるようにする。
• 超立方体を分割し、各分割でプライベート推定を適用するプライベート積分布推定器を設計する。誤差蓄積を制御するため再帰的戦略を用いる。
• 弱い仮定のもとで微分プライバシーおよび精度保証を証明するために、集中不等式およびカップリング議論を活用する。
• 特に高次元推定の文脈において、プライバシー損失を抑え込むためにモーメント母関数および二項カップリングを分析に用いる。
• プライベート推定とパrameterの不確実性へのロバストネスを再帰的に精緻化する前処理を組み合わせ、各ステップで感度を低減する。

実験結果

リサーチクエスチョン

• RQ1 高次元分布学習のための微分プライベートアルゴリズムは、非プライベート最適学習器とほぼ同等のサンプル複雑性を達成できるか？
• RQ2 平均および共分散に強い事前境界を必要とせずに、多変量正規分布推定における微分プライバシーを達成するにはどうすればよいか？
• RQ3 計算効率とプライバシーを維持したまま、高次元推定における感度を低減するにはどのような技法が使えるか？
• RQ4 ブール超立方体上の積分布のプライベート学習は、非プライベート手法と同等の精度で達成できるか？
• RQ5 高次元におけるプライベート分布推定の根本的限界は何か？ そしてそれらは提案されたアルゴリズムとどのように比較できるか？

主な発見

• 多変量正規分布を学習するための提案アルゴリズムは、平均および共分散に強い事前境界がなくても、非プライベート最適学習器とほぼ同等のサンプル複雑性を達成する。
• 再帰的プライベート前処理により、サンプル複雑性が $ O(d^2 / ilde{ u}^2) $ にスケーリングする高次元正規分布のプライベート推定が可能になる。ここで $ ilde{ u} $ は全変動距離における所望の精度である。
• ブール超立方体上の積分布に対しては、非プライベート最適境界まで対数的要因の範囲で一致するサンプル複雑性を達成する。
• 分析により、プライバシーはサンプル複雑性にわずかな乗法的オーバーヘッドしか生じないことが示され、この設定ではプライバシーが「本質的に無料」となることが明らかになった。
• 下界の結果により、提案アルゴリズムのサンプル複雑性が、対数的要因の範囲で理論的限界と一致しており、ほぼ最適であることが確認された。
• 再帰的プライベート前処理の手法は一般化可能であり、正規分布や積分布を超えた高次元プライベート推定のための新たなフレームワークを提供する。