[論文レビュー] DP-EM: Differentially Private Expectation Maximization

Mijung Park, Jimmy Foulds+2 more|UvA-DARE (University of Amsterdam)|May 23, 2016

Privacy-Preserving Technologies in Data被引用数 9

ひとこと要約

本稿では、モーメント摂動と洗練された合成技法（モーメント会計（MA）およびゼロ平均集中型微分プライバシー（zCDP））を用いた、ノイズ蓄積を低減するための、差分プライバシーEM（DP-EM）アルゴリズムを提案する。標準的なDP手法に比べて高い実用性を達成しており、ガウス混合モデルおよび要因分析において、厳密なプライバシー予算下でも性能が向上している。

ABSTRACT

The iterative nature of the expectation maximization (EM) algorithm presents a challenge for privacy-preserving estimation, as each iteration increases the amount of noise needed. We propose a practical private EM algorithm that overcomes this challenge using two innovations: (1) a novel moment perturbation formulation for differentially private EM (DP-EM), and (2) the use of two recently developed composition methods to bound the privacy "cost" of multiple EM iterations: the moments accountant (MA) and zero-mean concentrated differential privacy (zCDP). Both MA and zCDP bound the moment generating function of the privacy loss random variable and achieve a refined tail bound, which effectively decrease the amount of additive noise. We present empirical results showing the benefits of our approach, as well as similar performance between these two composition methods in the DP-EM setting for Gaussian mixture models. Our approach can be readily extended to many iterative learning algorithms, opening up various exciting future directions.

研究の動機と目的

• EMのような反復的プライベートアルゴリズムにおけるノイズ蓄積の課題に対処すること。各反復でプライバシー費用が増加する。
• 指数型分布族の完全データ尤度を持つモデルに適用可能な実用的なプライベートEMフレームワークを開発すること。
• 洗練された合成手法（MAおよびzCDP）を用いてプライバシー損失の境界を厳密に抑え、追加ノイズを低減することで実用性を向上させること。
• ガウス混合モデルおよび要因分析において、固定されたプライバシー予算下でフレームワークの実証的妥当性を検証すること。
• 他の反復的機械学習アルゴリズムのプライバシー化に一般化可能なアプローチを提供すること。

提案手法

• データサブサンプリングを回避するため、十分統計量（潜在変数および観測変数のモーメント）を摂動することで、モーメント摂動の定式化を提案する。
• プライバシー損失を複数回のEM反復にわたって境界付けるために、モーメント会計（MA）およびゼロ平均集中型微分プライバシー（zCDP）を適用する。
• プライバシー損失確率変数のモーメント生成関数をモデル化するために、Rényi発散を用い、よりタイトな尾部境界を実現し、ノイズを低減する。
• ガウス混合モデル（MoG）および要因分析（FA）のDP-EMアルゴリズムを導出。ガウスノイズ機構を用いて重心およびローディング行列にノイズを追加する。
• zCDPおよびMA合成を用いて、標準の合成定理に比べてより効率的な累積プライバシー予算を計算する。
• 実データセットにおける実用性の評価に、正規化されたクラス内分散（NICV）および学習済み成分の可視的検証を用いる。

実験結果

リサーチクエスチョン

• RQ1 EMにおけるモーメント摂動は、データサブサンプリングを必要とせずにプライバシーを維持できるか？
• RQ2 洗練された合成手法（MAおよびzCDP）を用いることで、標準の合成に比べて反復的プライベートEMにおけるノイズが顕著に低減されるか？
• RQ3 固定されたプライバシー予算下で、GowallaおよびOlivetti Facesといった実世界のデータセットにおいてDP-EMの実用性はどの程度か？
• RQ4 zCDPは、特にノイズ低減および計算効率の観点から、MAよりもプライベートEMの文脈で優れているか？
• RQ5 提案されたDP-EMフレームワークは、MoGおよびFAを超える他の反復的学習アルゴリズムへも拡張可能か？

主な発見

• zCDP合成を用いたDP-EMは、標準的合成を用いたDPLloydに比べ、わずかなプライバシー予算ε=0.01でも、より低い正規化されたクラス内分散（NICV）を達成した。
• zCDP合成は一部の状況でMAを上回り、計算がより簡単であるため、プライベートEMにおいて好ましいとされる。
• ε=0.3およびδ=10−4の条件下で、プライベート要因分析は非プライベートバージョンとほぼ同等の顔成分を回復できた。これは高い実用性を示している。
• zCDPおよびMAの両方の文脈で、GGG（ガウスノイズ機構＋zCDP）はLLG（ラプラスノイズ機構＋標準的合成）を上回り、特にノイズ低減において顕著な優位性を示した。
• モーメント摂動アプローチにより、データサブサンプリングを伴わずに各反復におけるプライバシー予算の有効な使用が可能となり、実用性が向上した。
• 実証的結果から、MAおよびzCDPはMoGにおけるDP-EMで同程度の性能を示すが、実際の応用ではzCDPがより優れた実用性と効率性を提供することが確認された。