[論文レビュー] Differentially Private (Gradient) Expectation Maximization Algorithm with Statistical Guarantees

Di Wang, Jiahao Ding+4 more|arXiv (Cornell University)|Oct 22, 2020

Privacy-Preserving Technologies in Data参考文献 33被引用数 6

ひとこと要約

本稿では、有限標本統計的保証を備えた最初の微分プライバシー（DP）勾配期待最大化（EM）アルゴリズムを提案する。重いテール分布の平均をプライバシーに配慮して推定するための新規メカニズムを活用し、ガウス・ミクスチャ・モデル（GMM）では $\tilde{O}(d/\sqrt{n\epsilon})$、混合回帰モデル（MRM）および欠損予測変数を伴う線形回帰（RMC）では $\tilde{O}(d^{3/2}/\sqrt{n\epsilon})$ の近似的に最適な推定誤差バウンドを達成する。また、ローカルDPモデルへの拡張も行う。

ABSTRACT

(Gradient) Expectation Maximization (EM) is a widely used algorithm for estimating the maximum likelihood of mixture models or incomplete data problems. A major challenge facing this popular technique is how to effectively preserve the privacy of sensitive data. Previous research on this problem has already lead to the discovery of some Differentially Private (DP) algorithms for (Gradient) EM. However, unlike in the non-private case, existing techniques are not yet able to provide finite sample statistical guarantees. To address this issue, we propose in this paper the first DP version of (Gradient) EM algorithm with statistical guarantees. Moreover, we apply our general framework to three canonical models: Gaussian Mixture Model (GMM), Mixture of Regressions Model (MRM) and Linear Regression with Missing Covariates (RMC). Specifically, for GMM in the DP model, our estimation error is near optimal in some cases. For the other two models, we provide the first finite sample statistical guarantees. Our theory is supported by thorough numerical experiments.

研究の動機と目的

• 既存の微分プライバシーEMアルゴリズムに有限標本統計的保証が欠如している問題に対処すること。
• 先行研究を改善し、ローカル微分プライバシーにも拡張可能な、重いテール分布のための新しいプライベート平均推定メカニズムを設計すること。
• 代表的なモデル（GMM、MRM、RMC）におけるDP勾配EMの最初の有限標本統計的誤差バウンドを確立すること。
• 提案されたDP-勾配EMフレームワークの理論的および実験的妥当性を、実データおよび合成データ上で検証すること。

提案手法

• Wangら（2020）の分析をより詳細に見直し、重いテール分布に特化した改良されたプライベート平均推定メカニズムを提案する。
• 精密なノイズキャリブレーションにより $ (\epsilon,\delta) $-微分プライバシーを満たすように、DP-勾配EMフレームワークにこのメカニズムを適用する。
• EM更新ステップにおける勾配関数の感度を制御するため、指数型ノルム解析を用いる。
• 勾配成分の濃縮不等式および指数型尾部特性を用いて、推定誤差バウンドを導出する。
• プライベート平均メカニズムをローカル微分プライバシー・モデルに拡張し、分散型デプロイメントを可能にする。
• 反復的更新における収束性と誤差伝播の制御を保証するため、有界な初期化領域 $ \mathcal{B} $ を用いる。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシー勾配EMアルゴリズムは、非プライベート手法と同等の有限標本統計的誤差バウンドを達成できるか？
• RQ2 重いテール分布のためのプライベート平均推定をどのように改善すれば、DP下での頑健な統計的学習を可能にするか？
• RQ3 代表的なモデル（GMM、MRM、RMC）におけるDP-勾配EMアルゴリズムが達成可能な最適推定誤差レートは何か？
• RQ4 提案されたプライベート平均推定メカニズムはローカルDPモデルに拡張可能か？分散型データ処理を可能にするか？
• RQ5 理論的誤差バウンドは、プライベート設定におけるミニマックス最適レートと比較してどうか？

主な発見

• 提案されたDP-勾配EMは、ガウス・ミクスチャ・モデル（GMM）に対して $ \tilde{O}(d/\sqrt{n\epsilon}) $ の推定誤差を達成し、特定の状態では近似的に最適である。
• 混合回帰モデル（MRM）および欠損予測変数を伴う線形回帰（RMC）に対して、初めての有限標本統計的保証を確立し、誤差バウンドは $ \tilde{O}(d^{3/2}/\sqrt{n\epsilon}) $ である。
• Wang ら（2020）の先行研究を改善し、重いテールデータに対してよりタイトな解析とより良い尾部制御を提供するプライベート平均推定メカニズムを実現した。
• 本メカニズムは、ローカル微分プライバシー・モデルへの拡張が可能な最初のものであり、分散型データ環境への応用範囲を広げた。
• 実データおよび合成データを用いた数値実験により、理論的誤差バウンドが妥当であることが検証され、プライバシー制約下でも安定した収束が確認された。
• 理論的解析により、適切な初期化のもとで、DP-勾配EMが高確率で有界な推定誤差を持つ解に収束することが確認された。