[論文レビュー] Differentially Private Variational Inference for Non-conjugate Models

Joonas Jälkö, Onur Dikmen+1 more|arXiv (Cornell University)|Oct 27, 2016

Privacy-Preserving Technologies in Data被引用数 12

ひとこと要約

本稿では、非共役モデルにおけるプライベートなベイズ推論のための汎用的手法である、差分プライバシーを適用した変分推論（DPVI）を提案する。二重確率的変分推論に勾配クリッピングとノイズ付加を適用することで、強力なプライバシー保証のもとで非プライベート推論に近い精度を達成し、強力なプライバシー制約下でも、DP-SGLDのようなサンプリングベースの代替手法を上回る性能を示した。

ABSTRACT

Many machine learning applications are based on data collected from people, such as their tastes and behaviour as well as biological traits and genetic data. Regardless of how important the application might be, one has to make sure individuals' identities or the privacy of the data are not compromised in the analysis. Differential privacy constitutes a powerful framework that prevents breaching of data subject privacy from the output of a computation. Differentially private versions of many important Bayesian inference methods have been proposed, but there is a lack of an efficient unified approach applicable to arbitrary models. In this contribution, we propose a differentially private variational inference method with a very wide applicability. It is built on top of doubly stochastic variational inference, a recent advance which provides a variational solution to a large class of models. We add differential privacy into doubly stochastic variational inference by clipping and perturbing the gradients. The algorithm is made more efficient through privacy amplification from subsampling. We demonstrate the method can reach an accuracy close to non-private level under reasonably strong privacy guarantees, clearly improving over previous sampling-based alternatives especially in the strong privacy regime.

研究の動機と目的

• 任意の非共役ベイズモデルに適用可能な汎用的で効率的かつ差分プライバシーを満たす推論手法の開発。
• 指数型分布族に限定されるか、高いプライバシー予算を消費する既存のプライベートなベイズ推論手法の限界を克服すること。
• 差分プライバシーを組み込んだ二重確率的変分推論の適応により、複雑なモデルにおける実用的なプライベート推論を可能にすること。
• DPVIが、低いε（強いプライバシー制約）のもとでも、非プライベートな変分推論に近い精度を達成することを示すこと。

提案手法

• DPVIは、個々のデータポイントの勾配レベルで差分プライバシーを適用するため、二重確率的変分推論を拡張した。
• 感度を制限するために、閾値 $ c_t $ を用いた勾配クリッピングを適用し、その後にラプラスまたはガウスノイズをクリッピング済み勾配に加えることで、ε-差分プライバシーを確保する。
• サブサンプリングによるプライバシーの強化を活用し、勾配更新ごとのプライバシー予算を削減することで、効率を向上させる。
• 変分事後分布は、完全に因子分解された分布で近似する：$ q(\pi) $ はガウス分布のソフトマックス変換により、$ q(\mu) $ は対角ガウス分布として、$ q(τ) $ は対数正規分布として定義する。
• 変分下界（ELBO）の最適化には、確率的勾配上昇法を用い、プライバシーを保証するために勾配にノイズを追加する。
• 評価では予測尤度を近似するためにモンテカルロ統合を用い、ベイズ回帰とガウス・ミックスチャネル・モデルの両方で手法を検証した。

実験結果

リサーチクエスチョン

• RQ1 非共役モデルに一般に適用可能で、かつ効率的な差分プライバシーを満たす変分推論手法を開発できるか？
• RQ2 強いプライバシー制約下で、DP-SGLDのようなサンプリングベースのプライベート推論手法と比較して、DPVIの性能はいかがなものか？
• RQ3 サブサンプリングによるプライバシーの強化は、差分プライバシーを適用した変分推論の効率をどの程度向上させ得るか？
• RQ4 DPVIにおける勾配クリッピングは、変分目的関数の最適化の多様性や停留点に顕著な影響を及えるか？

主な発見

• DPVIは、低いプライバシー予算（例：ε = 1）でも、非プライベートベースラインに近い予測尤度を達成し、強力なユーティリティ-プライバシーのトレードオフを示した。
• ガウス・ミックスチャネル・モデルでは、DP-SGLDよりもDPVIの事後予測分布が真の分布に視覚的に近づいており、特に成分の位置や形状の再構築が優れていた。
• プライバシー要件が緩い場合（εが大きい）にはDP-SGLDが予測尤度でDPVIを上回ったが、強いプライバシー制約下（εが小さい）ではDPVIが優れた性能を示した。
• サブサンプリング率 $ q = 0.003 $ を用いることで、イテレーションごとのプライバシー予算が顕著に削減され、より安定的かつ効率的な最適化が可能になった。
• 収束に伴って勾配クリッピングの影響が弱まることなく、データポイントごとの勾配に適用されるため、訓練全体を通して最適化ダイナミクスに影響を及続する。
• より単純な事後分布近似（例：対角共分散ガウス分布）が、パラメータノルムが小さいためDP環境下でより効果的であった。これは、モデルの単純化がプライバシー効率を向上させることを示唆している。