[論文レビュー] On the Sample Complexity of Privately Learning Unbounded High-Dimensional Gaussians.

Ishaq Aden-Ali, Hassan Ashtiani+1 more|arXiv (Cornell University)|Jan 1, 2020

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

本稿は、パrameterに制限を設けない近似的な微分プライバシー下での高次元多変量正規分布のプライバシー保護学習について、最初の有限標本複雑度上界を確立した。本稿では、局所的なものからグローバルな局所的・小規模な被覆を構築するための新しい解析的ツールを導入し、修正された微分プライバシー仮説選択技術を活用することで、同一分散共分散行列の場合にはほぼ最適な標本複雑度を達成し、一般の場合には近似的に最適であると予想される。

ABSTRACT

We provide sample complexity upper bounds for agnostically learning multivariate Gaussians under the constraint of approximate differential privacy. These are the first finite sample upper bounds for general Gaussians which do not impose restrictions on the parameters of the distribution. Our bounds are near-optimal in the case when the covariance is known to be the identity, and conjectured to be near-optimal in the general case. From a technical standpoint, we provide analytic tools for arguing the existence of global locally small covers from local covers of the space. These are exploited using modifications of recent techniques for differentially private hypothesis selection. Our techniques may prove useful for privately learning other distribution classes which do not possess a finite cover.

研究の動機と目的

• 近似的な微分プライバシー下での多変量正規分布の学習における標本複雑度バウンドのギャップを埋めること。
• 高次元空間における局所的被覆からグローバルな局所的・小規模被覆を構築する一般化された技術を開発すること。
• 平均や分散共分散パラメータに制約を課さずに正規分布のプライバシー保護学習を可能にすること。
• 最近の微分プライバシー仮説選択手法を、有界でない高次元分布を扱えるように拡張すること。
• 有限被覆を持たない他の分布クラスに対しても適用可能な理論的基盤を提供すること。

提案手法

• パrameter空間の局所的被覆からグローバルな局所的・小規模被覆を導出するための解析的ツールを開発した。
• 最近の微分プライバシー仮説選択フレームワークを修正し、有界でない正規分布に適応させた。
• 局所的被覆を用いて仮説クラスの複雑度を制御しながらプライバシーを保持した。
• 幾何的被覆性質と高次元におけるプライバシー・ユーティリティのトレードオフの関係を確立した。
• プライバシー学習から、パrameter空間の小規模かつ局所的に有界な被覆を構築する問題への還元を形式化した。
• 高次元正規分布の集中および反集中性質を活用して、必要な標本数の上限を導いた。

実験結果

リサーチクエスチョン

• RQ1 平均や分散共分散に制限を設けない場合、高次元正規分布をプライバシー保護的に学習するための最適な標本複雑度は何か？
• RQ2 プライバシー制約下で、高次元パラメータ空間における局所的被覆からグローバルに小規模な被覆をどのように構築できるか？
• RQ3 微分プライバシー仮説選択は、多変量正規分布のような有界でない高次元分布に拡張可能か？
• RQ4 パラメータ空間の構造とプライバシー学習における標本複雑度の関係は何か？
• RQ5 同一分散共分散行列の場合に提案されたバウンドはほぼ最適であり、一般の共分散行列への拡張は可能か？

主な発見

• 本稿は、パrameterに制限を設けない一般の多変量正規分布のプライバシー保護学習について、最初の有限標本複雑度上界を提供した。
• 同一分散共分散行列の場合、提案されたバウンドはほぼ最適であり、既知の下界と対数要因を除いて一致する。
• 著者らは、一般の任意の共分散行列の場合にも、このバウンドがほぼ最適であると予想している。
• 局所的被覆からグローバルな局所的・小規模被覆を構築するための開発手法は一般性を持ち、有限被覆を持たない他の分布クラスへも拡張可能である可能性がある。
• 幾何的および確率的性質を活用することで、修正されたプライベート仮説選択フレームワークは、有界でない高次元分布を効果的に処理できた。
• 本研究は、有限被覆を持たない連続的かつ高次元の分布に対するプライバシー学習のための新しい理論的基盤を確立した。