[論文レビュー] Rényi Differential Privacy Mechanisms for Posterior Sampling

Joseph Geumlek, Shuang Song+1 more|arXiv (Cornell University)|Oct 2, 2017

Privacy-Preserving Technologies in Data参考文献 1被引用数 22

ひとこと要約

本稿では、指数型分布族モデルおよび一般化線形モデル（たとえばロジスティック回帰）における事後分布サンプリングのための新しいRényi微分プライバシー（RDP）メカニズムを提案する。事前分布の相対的強度を制御することにより、より優れた効用を伴うチューナブルなRDPプライバシー保証を達成し、合成データおよび実データを用いた実験で検証された。

ABSTRACT

Using a recently proposed privacy definition of Rényi Differential Privacy (RDP), we re-examine the inherent privacy of releasing a single sample from a posterior distribution. We exploit the impact of the prior distribution in mitigating the influence of individual data points. In particular, we focus on sampling from an exponential family and specific generalized linear models, such as logistic regression. We propose novel RDP mechanisms as well as offering a new RDP analysis for an existing method in order to add value to the RDP framework. Each method is capable of achieving arbitrary RDP privacy guarantees, and we offer experimental results of their efficacy.

研究の動機と目的

• ベイズ推論における事後分布サンプリングのためのRényi微分プライバシー（RDP）メカニズムの限られた可用性を解決すること。
• 個々のデータポイントの影響をプライバシー保護型事後分布サンプリングで軽減するための事前分布の役割を調査すること。
• 新しいRDPメカニズムを開発し、既存手法の見直しによるRDP分析を精緻化することで、ベイズモデルにおけるプライバシー保証を強化すること。
• ロジスティック回帰のようなモデルにおいて、事前分布の集中度を制御することで、最小限の効用損失でより強いプライバシーを達成できることを示すこと。
• 合成データおよび実世界のデータセットを用いた実験的評価を通じて、提案手法の有効性を検証すること。

提案手法

• 個々のデータポイントへの感受性を低減するために、事前分布の集中度を活用することで、指数型分布族における事後分布サンプリングのための新しいRDPメカニズムを提案する。
• 既存の事後分布サンプリング手法に対して、Rényi発散の境界を用いてプライバシー保証を精緻化する新しいRDP分析を導入する。
• 隣接するデータセットにおける事後分布間のλ次Rényi発散を用いたプライバシー分析を定式化し、柔軟なプライバシー調整を可能にする。
• パrameter空間の分解と尤度比へのデータ摂動の影響の分析を通じて、ロジスティック回帰におけるRényi発散の閉形式境界を導出する。
• 尤度関数と事前分布の構造を活用して、異なるデータ次元からの寄与を分離可能にし、分離可能な解析を可能にする。
• 集中不等式とモーメント母関数技術を用いて、特にロジスティック回帰尤度比のRényi発散項を境界化する。

実験結果

リサーチクエスチョン

• RQ1 指数型分布族モデルにおける事後分布サンプリングにおいて、事前分布の集中度を用いてより強いRényi微分プライバシー（RDP）保証を達成できるか？
• RQ2 事前分布の選択が、事後分布サンプリングメカニズムにおけるプライバシーと効用のトレードオフに与える影響は何か？
• RQ3 既存の事後分布サンプリング手法をRDPフレームワークで再分析することで、よりタイトなプライバシー境界を達成できるか？
• RQ4 データ次元数と特徴構造が、一般化線形モデルにおける事後分布サンプリングのプライバシー保証に与える影響は何か？
• RQ5 提案されたRDPメカニズムは、実データおよび合成データにおいて、標準的な事後分布サンプリングと比較して、プライバシーと予測効用の両面で優れているか？

主な発見

• 提案されたRDPメカニズムは、事前分布の集中度を調整することで、任意のRDPプライバシー保証を達成でき、柔軟なプライバシーと効用のトレードオフを実現する。
• ロジスティック回帰において、RDP分析によりプライバシー損失がO(σ²c²(λ−1)/2)のスケーリングに従うことが示された。ここでcはデータベクトルのℓ2ノルムであり、σは事前分散を制御する。
• 実験結果から、提案手法は同じプライバシー予算下で、標準的な事後分布サンプリングよりも低い負の対数尤度を達成しており、より優れた効用を示している。
• diffusedアルゴリズムは、負の対数尤度の観点で集中型アルゴリズムを上回っており、RDP制約下での一般化性能が優れていることが示唆された。
• Abalone、Adult、MNIST 3vs8などのデータセットにおいて、提案手法は強い予測性能を維持しながら、よりタイトなRDP境界を達成した。
• RDP分析により、プライバシー損失は摂動を加えたデータポイントの寄与によって支配的であり、残りのデータは事前分布のおかげで安定化効果をもたらしていることが明らかになった。