[論文レビュー] Differentially Private Markov Chain Monte Carlo

Mikko Heikkilä, Joonas Jälkö+2 more|arXiv (Cornell University)|Jan 29, 2019

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

本稿では、非漸近的プライバシー保証を備えた一般用途向けの微分プライバシー付きマルコフ連鎖モンテカルロ（DP-MCMC）アルゴリズムを初めて提示する。この保証は、検証不能な収束仮定に依存しない。バーカー受理テストの分解とリーニー微分プライバシーを活用することで、任意のモデルにおけるプライベートな後方分布推論を可能にする。データサブサンプリングと近似受理テストにより、プライバシーが向上する。

ABSTRACT

Recent developments in differentially private (DP) machine learning and DP Bayesian learning have enabled learning under strong privacy guarantees for the training data subjects. In this paper, we further extend the applicability of DP Bayesian learning by presenting the first general DP Markov chain Monte Carlo (MCMC) algorithm whose privacy-guarantees are not subject to unrealistic assumptions on Markov chain convergence and that is applicable to posterior inference in arbitrary models. Our algorithm is based on a decomposition of the Barker acceptance test that allows evaluating the R\'enyi DP privacy cost of the accept-reject choice. We further show how to improve the DP guarantee through data subsampling and approximate acceptance tests.

研究の動機と目的

• マルコフ連鎖の収束に依存しない、厳密で非漸近的なプライバシー保証を提供する微分プライバシー付きMCMC手法の開発。
• 正確な後方分布サンプリングに依存するか、特定のモデルに限定される既存のDPベイズ手法の制限を克服すること。
• 微分可能でないか連続変数を必要としない任意のモデルにおけるプライベートな後方分布推論を可能にすること。
• データサブサンプリングと近似受理テストを用いて、プライバシーと精度のトレードオフを改善すること。

提案手法

• バーカー受理テストの分解に基づく、リーマン微分プライバシー（RDP）コストを評価する新しいDP-MCMCアルゴリズムを提案。
• RDPフレームワークを用いて、連鎖の収束に依存しない、きつい合成可能なプライバシー境界を提供。
• プライバシー損失を低減するため、データサブサンプリングを適用。サブサンプリングに起因するバイアスを補正するための修正されたノイズ分布を採用。
• 詳細なバランスを維持しながら計算コストを削減する近似受理テストを導入。
• 高次元空間における混合と収束を改善するため、パワー・トゥルメンピングを用いたトゥルメンピング後方分布を採用。
• リーマン発散に基づいてプライバシー境界を導出し、実用的な用途に適した(ϵ, δ)-DP保証に変換。

実験結果

リサーチクエスチョン

• RQ1 収束の検証に依存しない非漸近的プライバシー保証を備えた一般用途向けDP-MCMCアルゴリズムを設計できるか？
• RQ2 微分プライバシーの下で、MCMCにおける受容・拒否意思決定のプライバシーコストを厳密に定量化できるか？
• RQ3 データサブサンプリングを用いてプライバシー損失を効果的に低減できるか？
• RQ4 サブサンプリングによって生じるノイズ分布をどのように補正すれば、推論精度が向上するか？
• RQ5 近似受理テストがプライバシーやサンプリング効率に与える影響は何か？

主な発見

• 提案されたDP-MCMC手法は、後方分布の収束を検証する必要なく、厳密で非漸近的なプライバシー保証を達成する。
• この手法は、勾配上がりのDP-MCMCアプローチとは異なり、離散変数を含む任意のモデルにおけるプライベートな後方分布推論を可能にする。
• データサブサンプリングによりプライバシー損失が低減され、修正されたノイズ分布は、単純なサブサンプリングよりも顕著に精度が向上する。
• リーマンDPの使用により、標準DPよりもきついプライバシー合成境界が得られ、結果としてユーティリティが向上する。
• 特に高次元および微分不能なモデルにおいて、既存のDP-MCMC手法よりもプライバシーとユーティリティのトレードオフが優れている。
• 実験結果では、後方分布の分散推定とサンプリング効率が向上しており、特に初期化に変分ベイズ推論を組み合わせた場合に顕著である。