[論文レビュー] Differentially Private Bayesian Inference for Exponential Families

Garrett Bernstein, Daniel Sheldon|arXiv (Cornell University)|Sep 6, 2018

Privacy-Preserving Technologies in Data被引用数 23

ひとこと要約

この論文は、十分統計量のプライベートな公開と事後推論を分離することで、指数型分布族モデルにおける差分プライバシー付きベイズ推論のための新しいギブスサンプリング手法を提示する。変数拡張を用いて十分統計量におけるラプラスノイズをモデル化することにより、漸近的でない状況でも適切にキャリブレーションされた事後分布を達成する。既存の手法に比べてキャリブレーションと有効性に優れ、後処理の性質によりプライバシーを保持する。

ABSTRACT

The study of private inference has been sparked by growing concern regarding the analysis of data when it stems from sensitive sources. We present the first method for private Bayesian inference in exponential families that properly accounts for noise introduced by the privacy mechanism. It is efficient because it works only with sufficient statistics and not individual data. Unlike other methods, it gives properly calibrated posterior beliefs in the non-asymptotic data regime.

研究の動機と目的

• 指数型分布族モデルにおける、漸近的でない状況下での適切にキャリブレーションされたプライベートなベイズ推論の欠如に対処すること。
• 十分統計量に生じるプライバシーに起因するノイズを正しく扱う効率的な推論アルゴリズムの開発。
• 事後分布がデータの不確実性だけでなく、プライバシーのメカニズムに起因する不確実性も適切に反映すること。
• 個々の個人データにアクセスせずに、十分統計量のみに依存してプライベートなベイズ推論を可能にすること。
• 単変量および多変量の指数型分布族に一般に適用可能で、有界または切断された十分統計量を扱えるスケーラブルな一般用途の手法の提供。

提案手法

• 差分プライバシーを保証するため、ラプラスメカニズムを用いてノイズののった十分統計量をプライベートに公開する。
• 変数拡張を用いて、パrameterと十分統計量の間の結合事後分布をモデル化する新しいギブスサンプラーを導入。ラプラスノイズは変数拡張によって組み込む。
• 切断された指数型分布族と確率的和の中心極限定理に基づいて、十分統計量の分布を正規分布で近似する。
• データポイント数が切断境界内にあるかどうかが不明な場合に、自動微分を用いて正規近似のパrameterを計算する。
• 個々のデータポイントではなく十分統計量を統合して推論を行うため、計算効率が向上する。
• プライベート出力 $ y $ に対する事後分布 $ p(\theta \mid y) $ を計算することにより、元のデータ $ x $ ではなく、プライベート出力に基づいてキャリブレーションを保証する。

実験結果

リサーチクエスチョン

• RQ1 プライバシーに起因するノイズが存在する非漸近的状況下でも、プライベートなベイズ推論をキャリブレーション可能か？
• RQ2 指数型分布族の十分統計量にラプラスノイズが存在する場合に、一般用途のギブスサンプラーをどのように設計できるか？
• RQ3 非有界な指数型分布族における切断の影響は何か？そして、それを効果的にモデル化する方法は？
• RQ4 提案手法は、ナード的プライベート化や既存のプライベート事後分布サンプリング手法と比べて、キャリブレーションと有効性の点でどのように異なるか？
• RQ5 個々のデータにアクセスせずに、プライバシーを保ちながら高い有効性を達成できるか？

主な発見

• 提案されたギブスサンプラーは、テストされたすべてのモデル（二項分布、多項分布、指数分布）において、すべての $ n $ および $ \epsilon $ 値で完璧なキャリブレーションを達成しており、コルモゴロフ・スミルノフ統計量がゼロに近づく。
• ナード的アプローチ（ノイズののった十分統計量を正確なものとみなす）は、漸近的でない状況下で過信し、キャリブレーションが著しく悪い。これは $ n $ が大きくまたは $ \epsilon $ が高くなると改善するが、限界がある。
• OPS（最適事後分布サンプリング）は過剰に分散された事後分布を生成し、真のパrameterが事後分布の裾にある頻度が高くなるため、キャリブレーションが著しく悪い。
• 二項分布および多項分布モデルにおいて、非プライベート事後分布とのMMD距離で測定した場合、提案手法はナード的アプローチと同等または優れた有効性を達成する。
• 指数分布モデルでは、公平なベースラインが不足しているが、提案手法は、不正に切断を活用するナード的アプローチに比べて一貫して優れた性能を維持する。
• 評価された手法の中で、唯一、漸近的でない状況下で、データとプライバシーのメカニズムに起因する不確実性を正しく定量化している。