[論文レビュー] Edgeworth Accountant: An Analytical Approach to Differential Privacy Composition

Hua Wang, Sheng Gao+4 more|arXiv (Cornell University)|Jun 9, 2022

Privacy-Preserving Technologies in Data被引用数 7

ひとこと要約

本稿では、f-DPフレームワーク下でのプライバシー損失対数尤度比（PLLR）のエッジワース展開を用いて、微分プライバシー（DP）保証を合成するための解析的手法、エッジワースアカウンタを導入する。この手法は、非漸近的かつタイトな$(\varepsilon,\delta)$-DPバウンドを低コストで得られ、深層学習やフェデレーテッドアナリティクスにおける大規模DP合成において、モーメンツアカウンターやFFTベースの手法に比べて精度と効率で優れている。

ABSTRACT

In privacy-preserving data analysis, many procedures and algorithms are structured as compositions of multiple private building blocks. As such, an important question is how to efficiently compute the overall privacy loss under composition. This paper introduces the Edgeworth Accountant, an analytical approach to composing differential privacy guarantees for private algorithms. Leveraging the $f$-differential privacy framework, the Edgeworth Accountant accurately tracks privacy loss under composition, enabling a closed-form expression of privacy guarantees through privacy-loss log-likelihood ratios (PLLRs). As implied by its name, this method applies the Edgeworth expansion to estimate and define the probability distribution of the sum of the PLLRs. Furthermore, by using a technique that simplifies complex distributions into simpler ones, we demonstrate the Edgeworth Accountant's applicability to any noise-addition mechanism. Its main advantage is providing $(ε, δ)$-differential privacy bounds that are non-asymptotic and do not significantly increase computational cost. This feature sets it apart from previous approaches, in which the running time increases with the number of mechanisms under composition. We conclude by showing how our Edgeworth Accountant offers accurate estimates and tight upper and lower bounds on $(ε, δ)$-differential privacy guarantees, especially tailored for training private models in deep learning and federated analytics.

研究の動機と目的

• 深層学習やフェデレーテッドアナリティクスを含む大規模な機械学習システムにおける、微分プライバシー保証を効率的かつ正確に合成する課題に対処すること。
• FFTベースの手法の計算負荷を回避するための有限標本、非漸近的手法として、$(\varepsilon,\delta)$-DPバウンドを計算すること。
• モーメンツアカウンターやRényi DPアプローチを上回る、高次近似を用いた解析的導出によるタイトなバウンドを提供すること。
• 微分プライバシーの文脈において、エッジワース近似の有限標本誤差バウンドを厳密に確立すること——統計学およびプライバシー研究において画期的な貢献。
• 実世界の応用におけるDPの実用的導入を可能にするため、近似エッジワースアカウンタ（AEA）と正確エッジワースアカウンタ区間（EEAI）の2つのバリエーションを提供すること。

提案手法

• f-微分プライバシー（f-DP）フレームワークを用いて、プライバシー損失をプライバシー損失対数尤度比（PLLR）で追跡し、損失のない合成追跡を可能にする。
• 中央極限定理の高次モーメント補正を用いて、PLLRの和の分布をエッジワース展開で近似する。
• エッジワース近似の非漸近的誤差バウンドを導出するために、ベリー・エッセング型のバウンドを活用する。
• エッジワースアカウンタは、高速推定のための近似エッジワースアカウンタ（AEA）と、厳密な有限標本バウンドのための正確エッジワースアカウンタ区間（EEAI）の2つの形で実装される。
• ノイズ追加メカニズムに対しては、有界なPLLRのサブガウス性を活用して、ラプラスメカニズムなどの例で末尾バウンドを導出する。
• フェデレーテッドラーニングを含む複数の設定で、FFT、RDP、GDPベースのアカウンタと比較した数値実験により、本手法を検証した。

実験結果

リサーチクエスチョン

• RQ1 エッジワース展開を用いて、合成されたプライベートなアルゴリズムの非漸近的かつ有限標本の$(\varepsilon,\delta)$-DPバウンドを導出できるか？
• RQ2 高合成状態下において、エッジワースアカウンタの精度は、モーメンツアカウンタ（RDP）やFFTベースのアカウンタと比べてどうか？
• RQ3 特に合成回数が増加する際、エッジワースアカウンタの計算効率はFFTベースの手法と比べてどうか？
• RQ4 フェデレーテッドラーニングのような実用的状況において、エッジワース近似はガウス近似（CLT）よりもタイトなプライバシーバウンドを提供できるか？
• RQ5 微分プライバシーの文脈におけるエッジワース近似の明示的な有限標本誤差バウンドは何か？ そしてそれらはどのように導出されるか？

主な発見

• 近似エッジワースアカウンタ（AEA）は、複数の設定において、モーメンツアカウンタ（RDP）およびCLTに基づくガウス近似（GDP）よりも高い精度でプライバシーパラメータを推定する。
• エッジワースアカウンタの計算コストは低く保たれ、合成回数に比例して増加しない。これに対してFFTベースの手法は、合成回数の増加に伴い実行時間が著しく増加する。
• 正確エッジワースアカウンタ区間（EEAI）は、$(\varepsilon,\delta)$-DPの厳密な非漸近的上界と下界を提供し、フェデレーテッドアナリティクスおよびディープラーニング訓練の両方でタイトさが確認された。
• ラプラスメカニズムに対しては、逆指数的減衰を示す末尾バウンドを導出：$\max\left\{\mathbb{P}\left(\sum X_i^{(1)} \geq \varepsilon\right), \mathbb{P}\left(\sum X_i^{(2)} \geq \varepsilon\right)\right\} \leq \exp\left(-\frac{2(\varepsilon + m\eta)^2}{m\tau^2}\right)$、ここで$\eta > 0$ かつ $\tau^2$ はメカニズムパラメータの関数。
• ノイズ付きSGDと変動するサブサンプリングレートを用いた実験では、$\delta = 0.1$ であっても、EEAIはRDPおよびFFT手法よりも真のプライバシー損失をよりタイトにバウンドした。
• 本稿は、微分プライバシーにおけるエッジワース近似の最初の既知の有限標本誤差バウンドを確立した。これは統計学的にも独立した興味深い結果である。