[論文レビュー] D3p -- A Python Package for Differentially-Private Probabilistic Programming

Lukas Prediger, Niki Loppi+2 more|arXiv (Cornell University)|Mar 22, 2021

Privacy-Preserving Technologies in Data参考文献 41被引用数 3

ひとこと要約

d3p は、NumPyro フレームワークと統合された微分プライバシー付き変分推論（DP-VI）を備えた、高性能な Python パッケージであり、厳密なプライバシー会計と GPU 最適化サンプリングにより、柔軟でユーザー定義可能な確率的モデルを厳密なプライバシー保証のもとで実装可能にする。GPU で加速されたモデルでは、TensorFlow Privacy よりも約 10 倍の高速化を達成している。

ABSTRACT

We present d3p, a software package designed to help fielding runtime efficient widely-applicable Bayesian inference under differential privacy guarantees. d3p achieves general applicability to a wide range of probabilistic modelling problems by implementing the differentially private variational inference algorithm, allowing users to fit any parametric probabilistic model with a differentiable density function. d3p adopts the probabilistic programming paradigm as a powerful way for the user to flexibly define such models. We demonstrate the use of our software on a hierarchical logistic regression example, showing the expressiveness of the modelling approach as well as the ease of running the parameter inference. We also perform an empirical evaluation of the runtime of the private inference on a complex model and find a $\sim$10 fold speed-up compared to an implementation using TensorFlow Privacy.

研究の動機と目的

• 人気のあるフレームワークにおいて、効率的で統合された微分プライバシー付き確率的推論ツールの不足に対処すること。
• ユーザーにやさしく、高性能な実装を提供することで、実務家がプライバシー保護モデルを採用する障壁を低減すること。
• テーブルデータ向けにエンドツーエンドの微分プライバシー保証のもとで、プライバシー保護モデルの迅速なプロトタイピングと反復的開発を可能にすること。
• GPU による加速と修正された CUDA-Shuffle アルゴリズムを用いた効率的なミニバッチサンプリングにより、パフォーマンスを最適化すること。
• 微分可能密度を備えた一般用途のパラメトリックモデルを、微分プライバシーのもとでの変分推論により実現すること。

提案手法

• 核心推論エンジンとして、微分プライバシー付き二重確率的変分推論（DP-VI）を実装する。
• Python の構文を用いた柔軟なモデル定義を可能にするために、NumPyro の確率的プログラミングフレームワークと統合する。
• 自動微分と GPU による加速を実現するため、JAX フレームワークを活用して高い実行時パフォーマンスを達成する。
• プライバシーパラメータ（ε, δ）のタイトな境界を計算する最先端のプライバシー会計士を採用し、ユーティリティを最大化する。
• GPU 基盤のシャッフルを効率的に行うために、修正版の CUDA-Shuffle アルゴリズムを用いたミニバッチサンプリングを最適化する。
• パフォーマンスが重要な設定において信頼性を確保するため、GPU 最適化シャッフルルーチンの確率的ランタイム解析を提供する。

実験結果

リサーチクエスチョン

• RQ1 最小限のユーザー作業で、一般用途で高性能なソフトウェアパッケージを構築し、微分プライバシー付き確率的推論を可能にすることができるか？
• RQ2 JAX と GPU で最適化された DP-VI 実装のパフォーマンスは、既存の TensorFlow 基盤のソリューションと比べてどの程度か？
• RQ3 エンドツーエンドの微分プライバシーを課した状態で、確率的プログラミングの表現力はどの程度維持できるか？
• RQ4 タイトなプライバシー会計と微分可能確率的モデルフレームワークを統合した場合、実際の応用においてどの程度効果的か？
• RQ5 実世界のモデルにおいて、GPU 最適化とプライバシー保護付きミニバッチサンプリングを組み合わせることで、どの程度のパフォーマンス向上が達成できるか？

主な発見

• d3p は、現代の GPU で動作する同じ DP-VI モデルについて、TensorFlow Privacy を基盤とする実装と比較して、学習時間で約 10 倍の高速化を達成している。
• d3p 実装は、テストデータにおける対数尤度性能が元の DP-VI コードと同等またはわずかに優れており、実行間の分散が著しく低減されている。
• このフレームワークにより、ユーザーは最小限の変更で階層的ロジスティック回帰や変分オートエンコーダーといった複雑なモデルを、標準的な NumPyro 構文で定義可能である。
• 修正された CUDA-Shuffle アルゴリズムの使用により、GPU 基盤のミニバッチサンプリングが効率的に行われ、全体のパフォーマンス向上に貢献している。
• タイトなプライバシー会計の統合により、同じプライバシー予算であっても、精度の低い会計手法よりも高いユーティリティが達成可能であることが示された。
• ユーザーがモデルを DP-SGD でラップする必要がなかったり、カスタム DP レイヤーを実装する必要がなくなるなど、実装の負担が軽減されている。