[論文レビュー] Fully Adaptive Composition in Differential Privacy

Justin Whitehouse, Aaditya Ramdas+2 more|arXiv (Cornell University)|Mar 10, 2022

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

この論文は、適応的選択されたプライバシー・パラメータを許容しても、アドバンスド・コンポジションと同等の漸近的プライバシー境界を達成する、完全に適応的コンポジションにおけるプライバシー・フィルタおよびオドメーターを導入する。マーリンガル濃縮不等式を活用することで、アドバンスド・コンポジションのレートに一致するフィルタと、二重対数的要因の範囲内で最適なオドメーターを構築し、最小限のオーバーヘッドで実用的かつ適応的なプライバシー会計を可能にする。

ABSTRACT

Composition is a key feature of differential privacy. Well-known advanced composition theorems allow one to query a private database quadratically more times than basic privacy composition would permit. However, these results require that the privacy parameters of all algorithms be fixed before interacting with the data. To address this, Rogers et al. introduced fully adaptive composition, wherein both algorithms and their privacy parameters can be selected adaptively. They defined two probabilistic objects to measure privacy in adaptive composition: privacy filters, which provide differential privacy guarantees for composed interactions, and privacy odometers, time-uniform bounds on privacy loss. There are substantial gaps between advanced composition and existing filters and odometers. First, existing filters place stronger assumptions on the algorithms being composed. Second, these odometers and filters suffer from large constants, making them impractical. We construct filters that match the rates of advanced composition, including constants, despite allowing for adaptively chosen privacy parameters. En route we also derive a privacy filter for approximate zCDP. We also construct several general families of odometers. These odometers match the tightness of advanced composition at an arbitrary, preselected point in time, or at all points in time simultaneously, up to a doubly-logarithmic factor. We obtain our results by leveraging advances in martingale concentration. In sum, we show that fully adaptive privacy is obtainable at almost no loss.

研究の動機と目的

• 完全適応的微分プライバシーにおけるアドバンスド・コンポジションと既存のプライバシー・フィルタ／オドメーターの間のギャップを埋める。
• 適応的プライバシー・パラメータ選択下でも、アドバンスド・コンポジションのプライバシー境界（定数を含む）に一致するプライバシー・フィルタを構築する。
• 任意の時刻またはすべての時刻において、二重対数的要因の範囲内でタイトな一般クラスのプライバシー・オドメーターを設計する。
• 大きな定数が従来の手法の実用性を阻害していたのを軽減することで、実用的かつ適応的なプライバシー会計を可能にする。

提案手法

• マーリンガル濃縮不等式を活用し、適応的コンポジションにおけるプライバシー損失のタイトな境界を導出する。
• プライバシー・パラメータが適応的に選ばれても、全体のプライバシー予算が保たれるようにプライバシー・フィルタを構築する。
• 累積プライバシー損失の時間一様かつ高確率での上界を提供するプライバシー・オドメーターを開発する。
• プライバシー損失確率変数と条件付き期待値に基づく、新たな分析フレームワークを用いてタイトな境界を導出する。
• zCDP（ゼロ集中微分プライバシー）の結果を応用し、近似zCDP用のフィルタを構築する。
• 事前に指定された点またはすべての時間ステップにおいて、過剰推定を最小限に抑えるようにオドメーター列を最適化する。

実験結果

リサーチクエスチョン

• RQ1 完全適応的コンポジションにおいて、アドバンスド・コンポジションと同等のプライバシー境界（定数を含む）を達成するプライバシー・フィルタを構築できるか？
• RQ2 任意の時刻またはすべての時刻において、小さな対数的要因の範囲内でタイトなプライバシー・オドメーターを設計できるか？
• RQ3 既存のフィルタおよびオドメーターに大きな定数が含まれる場合、それを低減して実用的利用可能にする方法は何か？
• RQ4 プライバシー・パラメータが適応的に選ばれる場合でも、アドバンスド・コンポジションの理論的保証を維持できるか？
• RQ5 最小限のプライバシー効率の損失で完全適応的コンポジションを達成することは可能か？

主な発見

• 提案されたプライバシー・フィルタは、完全適応的プライバシー・パラメータ選択下でも、アドバンスド・コンポジションと同等の漸近的プライバシー境界を達成し、定数まで一致する。
• プライバシー・オドメーターは、事前に指定された任意の時刻において、二重対数的要因の範囲内でタイトであり、異なるプライバシー目標に最適化可能である。
• 著者らは、近似zCDP用のプライバシー・フィルタを構築し、フレームワークの適用範囲を拡張した。
• プライバシー損失の境界はマーリンガル濃縮を用いて導出され、累積プライバシー損失に対する時間一様な制御を可能にする。
• 結果として、微分プライバシーにおける完全な適応性が、ほぼプライバシー効率の損失を伴わず実現可能であることが示され、理論的にも実用的にも妥当である。