[論文レビュー] Optimal Accounting of Differential Privacy via Characteristic Function

Yuqing Zhu, Jinshuo Dong+1 more|arXiv (Cornell University)|Jun 16, 2021

Privacy-Preserving Technologies in Data参考文献 30被引用数 12

ひとこと要約

本稿は、プライバシー損失確率変数の特性関数（ϕ関数）を用いた微分プライバシー会計の統一フレームワークを提案する。これにより、主なDP形式（Rényi DP、f-DP、プライバシー・プロファイル、PLD）間の最適かつ損失なしの変換が可能になる。提案された解析的フーリエ会計師（AFA）は、ϕ関数の複素対数の記号的表現とガウス求積法を用い、漸近的近似や離散化の選択に依存せず、RDPの合成を上回る正確でタイトなプライバシー会計を実現する。

ABSTRACT

Characterizing the privacy degradation over compositions, i.e., privacy accounting, is a fundamental topic in differential privacy (DP) with many applications to differentially private machine learning and federated learning. We propose a unification of recent advances (Renyi DP, privacy profiles, $f$-DP and the PLD formalism) via the \emph{characteristic function} ($ϕ$-function) of a certain \emph{dominating} privacy loss random variable. We show that our approach allows \emph{natural} adaptive composition like Renyi DP, provides \emph{exactly tight} privacy accounting like PLD, and can be (often \emph{losslessly}) converted to privacy profile and $f$-DP, thus providing $(ε,δ)$-DP guarantees and interpretable tradeoff functions. Algorithmically, we propose an \emph{analytical Fourier accountant} that represents the \emph{complex} logarithm of $ϕ$-functions symbolically and uses Gaussian quadrature for numerical computation. On several popular DP mechanisms and their subsampled counterparts, we demonstrate the flexibility and tightness of our approach in theory and experiments.

研究の動機と目的

• Rényi DP、f-DP、プライバシー・プロファイル、PLDといった異なる微分プライバシー形式を、一つの数学的枠組みで統合すること。
• PLD形式の基礎的問題を解消するため、最悪ケースのプライバシー損失分析に向けた「支配ペア」の概念を導入すること。
• すべての主要なDP表現間で損失なしの正確な変換を可能にし、最適なプライバシー・ユーティリティトレードオフを保証すること。
• 漸近的近似や離散化の誤差を回避する、効率的かつ数値的に安定したプライバシー会計アルゴリズムの開発。
• サブサンプリングを含む多様なDPメカニズムにおける、タイトで適応的合成をサポートする実用的でオープンソースのツール（AFA）の提供。

提案手法

• 本稿は、既存のPLDの制限を超えて最悪ケースのプライバシー損失分析を一般化するため、分布の「支配ペア」を形式化する。
• プライバシー損失確率変数の特性関数（ϕ関数）を記号的に表現することで、正確な解析的計算を可能にする。
• ϕ関数の複素対数を用いることで、複素数αへの拡張が可能となり、自然な適応的合成が実現される。
• ガウス求積に基づく数値積分スキームにより、(ε,δ)-DPのδ(ε)を高い精度と効率で計算する。
• 古典的なフーリエ／ラプラス変換の関係を用いて、ϕ関数、プライバシー・プロファイル、f-DP、PLD表現間の双方向かつ損失なしの変換を可能にする。
• 解析的フーリエ会計師（AFA）は、記号的計算パイプラインとして実装され、オープンソースで提供され、実用的導入を支援する。

実験結果

リサーチクエスチョン

• RQ1 一貫した表現の下で、Rényi DP、f-DP、プライバシー・プロファイル、PLDといった既存の微分プライバシー形式を統一する数学的枠組みを構築できるか？
• RQ2 最悪ケースの隣接データセットペアが存在しない、または特定が困難なメカニズムに対しても、PLD形式をどのように一般化できるか？
• RQ3 タイトで適応的合成を実現するためのプライバシー損失分布の最適な表現と計算方法は何か？
• RQ4 プライバシー損失確率変数の特性関数が、すべての主要なDP表現への正確かつ損失なしの変換を可能にするか？
• RQ5 漸近的近似や離散化に依存せず、(ε,δ)-DP保証の数値計算を正確かつ効率的に実現する方法は何か？

主な発見

• 提案されたフレームワークは、特性関数に基づく変換により、f-DP、プライバシー・プロファイル、PLD、Rényi DPを含むすべての主要なDP形式間で損失なしの変換を可能にする。
• 「支配ペア」の導入により、明示的な隣接データセットペアが利用できない状況でも、最悪ケースのプライバシー分析が可能になる。
• 解析的フーリエ会計師（AFA）は、サブサンプルド・ガウスおよびラプラスメカニズムを含む複数のメカニズムにおいて、RDPを上回るタイトなプライバシー会計を達成する。
• AFAはガウス求積を用いて(ε,δ)-DP保証を高い数値的精度で計算し、FFTに基づく離散化やCLTに基づく近似の必要性を回避する。
• 実験結果から、Dongら（2021年）およびKoskelaら（2021年）の最先端手法と同等のタイトさを達成しているが、それらの計算的制限や近似の欠如を回避している。
• オープンソースのAFA実装により、機械学習やフェデレーテッドラーニングにおける多様なDP応用分野で、実用的で効率的かつ正確なプライバシー会計が可能になる。