[論文レビュー] Computing Tight Differential Privacy Guarantees Using FFT

Antti Koskela, Joonas Jälkö+1 more|arXiv (Cornell University)|Jun 7, 2019

Privacy-Preserving Technologies in Data参考文献 22被引用数 11

ひとこと要約

本稿では、連続的一次元メカニズムの積分に基づくプライバシー損失分布（PLD）を高速に評価するために、高速フーリエ変換（FFT）を用いた数値会計士を提案する。この手法により、特にDP確率的勾配降下法（DP-SGD）で用いられるサブサンプルドガウスメカニズムにおいて、従来手法と比較してはるかにタイトな$(\varepsilon,\delta)$-微分プライバシーの保証が得られ、計算速度も大幅に向上する。

ABSTRACT

Differentially private (DP) machine learning has recently become popular. The privacy loss of DP algorithms is commonly reported using $(\varepsilon,δ)$-DP. In this paper, we propose a numerical accountant for evaluating the privacy loss for algorithms with continuous one dimensional output. This accountant can be applied to the subsampled multidimensional Gaussian mechanism which underlies the popular DP stochastic gradient descent. The proposed method is based on a numerical approximation of an integral formula which gives the exact $(\varepsilon,δ)$-values. The approximation is carried out by discretising the integral and by evaluating discrete convolutions using the fast Fourier transform algorithm. We give both theoretical error bounds and numerical error estimates for the approximation. Experimental comparisons with state-of-the-art techniques demonstrate significant improvements in bound tightness and/or computation time. Python code for the method can be found in Github (https://github.com/DPBayes/PLD-Accountant/).

研究の動機と目的

• 連続的一次元出力を持つメカニズムのための、数値的に効率的かつ正確な$(\varepsilon,\delta)$-微分プライバシー保証を計算する手法の開発。
• 特にDP確率的勾配降下法のような反復的DPアルゴリズムにおけるプライバシー会計の計算ボトルネックを、FFTを用いた高速な畳み込み評価によって解決すること。
• プライバシー損失分布（PLD）に基づく統一フレームワークを用いて、ポアソン、復元抽出、非復元抽出の複数のサブサンプルスキームへのプライバシー会計の拡張。
• 正確な$(\varepsilon,\delta)$-値を裏付ける積分式のFFTによる近似に対する理論的誤差境界と数値的誤差推定の提供。

提案手法

• 正確な$(\varepsilon,\delta)$-値をPLD密度関数の関数として表す離散化された積分式を用いてPLDを計算する。
• 複数のメカニズムの合成に必要な離散的畳み込みを高速フーリエ変換（FFT）を用いて計算し、効率的な数値的評価を実現する。
• 積分を有限グリッド上で離散化し、数値的台形則によるPLD密度の近似を実施。誤差境界は、関連関数の滑らかさに基づいて導出される。
• DP-SGDのコアな構成要素であるサブサンプルド多次元ガウスメカニズムに、ポアソンおよび決定的サブサンプルスキームを用いて適用する。
• プライバシー損失関数およびPLD密度の導関数に基づいて理論的誤差境界を導出し、近似誤差を制御可能にする。
• Pythonで実装され、GitHubにコードを公開しており、再現性とDP機械学習パイプラインへの統合を可能としている。

実験結果

リサーチクエスチョン

• RQ1 FFTベースの数値的積分を用いて、連続的メカニズムのプライバシー損失分布（PLD）を正確かつ効率的に計算できるか？
• RQ2 既存手法（モーメント会計士やRényi微分プライバシー（RDP）合成）と比較して、FFTベースの会計士は精度と速度の両面で優れているか？
• RQ3 ポアソン、復元抽出、非復元抽出のサブサンプル戦略のすべてにおいて、よりタイトな$(\varepsilon,\delta)$-DP境界を達成できるか？
• RQ4 正確なプライバシー損失の積分式のFFT近似に対する理論的および実験的誤差境界は何か？

主な発見

• FFTベースの会計士は、モーメント会計士およびRényi微分プライバシー（RDP）合成手法と比較して、著しくタイトな$(\varepsilon,\delta)$-DP境界を達成する。
• 特に高次元または繰り返しの合成が発生する状況において、最先端技術と比較して計算時間を大幅に短縮する。
• プライバシー損失関数およびPLD密度の滑らかさに基づく理論的誤差境界が導出され、数値的誤差推定により高い正確性が確認された。
• ポアソン、復元抽出、非復元抽出の複数のサブサンプルメカニズムを、一つの統一フレームワーク内でサポートする。
• 実験的結果から、特に$\delta$が小さい領域において、さまざまなハイパーパrameter設定においてよりタイトなプライバシー保証が達成されていることが示された。
• GitHubに公開されたオープンソース実装により、DP機械学習ワークフロー（例：DP-SGD）への実用的導入と統合が可能である。