[論文レビュー] CoinPress: Practical Private Mean and Covariance Estimation

Sourav Biswas, Yihe Dong+2 more|arXiv (Cornell University)|Jun 11, 2020

Privacy-Preserving Technologies in Data参考文献 22被引用数 26

ひとこと要約

CoinPress は、反復的信頼区間に基づくアプローチを用いて、多変量のサブガウス型データの平均および共分散の推定に実用的な微分プライバシーを適用するアルゴリズムを導入する。この手法は、共分散の楕円的境界を段階的に精密化することで、小標本サイズ下でも最先端の精度を達成し、理論的な漸近的誤差境界に一致しながら、合成データおよび実世界のデータ評価において先行手法を上回る性能を示す。

ABSTRACT

We present simple differentially private estimators for the mean and covariance of multivariate sub-Gaussian data that are accurate at small sample sizes. We demonstrate the effectiveness of our algorithms both theoretically and empirically using synthetic and real-world datasets -- showing that their asymptotic error rates match the state-of-the-art theoretical bounds, and that they concretely outperform all previous methods. Specifically, previous estimators either have weak empirical accuracy at small sample sizes, perform poorly for multivariate data, or require the user to provide strong a priori estimates for the parameters.

研究の動機と目的

• 小標本サイズ下でも高い精度を達成できる多変量平均および共分散の微分プライベート推定器を設計すること。
• 先行手法が多次元設定下で性能を発揮できない、または強い事前パラメータ推定を必要とするという限界を解消すること。
• 平均や共分散行列に対する緩い境界などの最小限のユーザ提供事前情報で高い精度を維持できる実用的アルゴリズムを開発すること。
• 合成データおよび実世界のデータセットの両方における手法の有効性を実証すること。特に、プライベートPCAへの応用を含む。
• 集中微分プライバシー下でのサブガウス型平均および共分散推定における、最新の漸近的誤差レートに一致すること。

提案手法

• CoinPress は、真の共分散の周囲に楕円的信頼区間を維持する反復的精錬戦略を用いる。各ステップで、zCDP準拠のノイズを用いて上界を段階的に厳しくする。
• 各反復で、現在の上界が単位行列になるように、データ空間をスケーリングすることで、クリッピングとノイズの適用を簡素化する。
• 各ステップで、データポイントを現在の楕円体に対するガウス尾部境界に基づいてクリッピングするプライベート共分散推定器（MVC）を適用し、経験的共分散の感度に比例してゼロ平均のガウスノイズを追加する。
• 経験的共分散の感度は、すべてのデータポイントが $–2$-ノルムで $T$ 以下に制限される場合、フロベニウス感度が $\sqrt{2}T/n$ 以下であることを示す補題により上限が与えられる。
• 上界と下界のスペクトル比 $K$ に対して $O(\log K)$ 回の反復後、最終的な推定を得るために、ナイーブなクリッピングとノイズ追加ステップを適用する。
• 経験的共分散および対称ガウス行列のスペクトルノルムに対する信頼区間を活用することで、高確率で有効な楕円的境界を保証する。

実験結果

リサーチクエスチョン

• RQ1 微分プライベートな平均および共分散推定器は、理論的誤差境界を強く保ちつつ、小標本サイズ下でも実用的な精度を達成できるか？
• RQ2 反復的信頼区間に基づくプライベート推定の性能は、多次元設定下で先行手法と比較してどのように異なるか？
• RQ3 データ分布に関する弱い事前情報しか与えられない状況でも、この手法がどれほど高い精度を維持できるか？
• RQ4 このアルゴリズムは実世界のデータセットに効果的に適用可能であり、プライベートPCAのような後続タスクの構築ブロックとして利用可能か？
• RQ5 良好な性能を達成するために、アルゴリズムが事前知識（例：平均や共分散の境界）に依存する最小限の依存度はどの程度か？

主な発見

• CoinPress は、集中微分プライバシー下でのサブガウス型平均および共分散推定において、最新の理論的漸近的誤差境界に一致する漸近的誤差レートを達成する。
• 実験的評価において、特に小標本サイズおよび高次元下で、先行手法を顕著に上回る性能を示し、非プライベート推定器と同等の誤差を達成する。
• 平均推定において、Du ら [DFM+20] の単変量手法を多次元データに座標ごとに適用した場合よりも、CoinPress が優れた性能を示す。
• 実験により、データが正規性から逸脱しても、この手法は有効であることが示された。重い尾を持つ合成データおよび実世界のデータセットでも同様の結果が得られた。
• 標本数 $n = \tilde{\Omega}\left(\left(\frac{d^{2}}{\alpha^{2}} + \frac{d^{2}}{\alpha\sqrt{\rho}} + \frac{\sqrt{d^{3}\log K}}{\sqrt{\rho}}\right)\log\frac{1}{\beta}\right)$ の場合、CoinPress は確率 $1 - \beta$ で $\|\hat{\Sigma}^{-1/2}\Sigma\hat{\Sigma}^{-1/2} - I\|_{F} \leq \alpha$ を満たす推定値 $\hat{\Sigma}$ を返す。
• このアルゴリズムは弱い事前情報に対してもロバストである。平均や共分散の事前境界が非常に緩い場合（例：$R$ や $K$ が大きい場合）でも、良好な性能を発揮する。