[論文レビュー] Subsampled R\\'enyi Differential Privacy and Analytical Moments Accountant

Yu-Xiang Wang, Borja Balle+1 more|arXiv (Cornell University)|Jul 31, 2018

Privacy-Preserving Technologies in Data被引用数 95

ひとこと要約

本論文は subsampled 機構の Rényi 微分プライバシーパラメータに対する元の機構の RDP およびサンプリング率に基づく厳密な上界を導出し、分析的モーメント会計を導入する。

ABSTRACT

We study the problem of subsampling in differential privacy (DP), a question that is the centerpiece behind many successful differentially private machine learning algorithms. Specifically, we provide a tight upper bound on the R\\'enyi Differential Privacy (RDP) (Mironov, 2017) parameters for algorithms that: (1) subsample the dataset, and then (2) applies a randomized mechanism M to the subsample, in terms of the RDP parameters of M and the subsampling probability parameter. Our results generalize the moments accounting technique, developed by Abadi et al. (2016) for the Gaussian mechanism, to any subsampled RDP mechanism.

研究の動機と目的

• サブサンプリングによる Rényi DP（RDP）におけるプライバシー増幅の理解の必要性を動機付ける。
• 元の機構とサンプリング比率の観点から、サブサンプル機構の RDP パラメータに対する厳密かつ一般的な上界を導出する。
• 事前定義されたモーメントリストなしに組み合わせ全体でプライバシー parameters を追跡する分析的モーメント会計を提案する。
• サブサンプリング効果に関連する新しい三項 Pearson-Vajda 発散概念を導入し、それを RDP に結びつける。
• RDP 境界から (epsilon, delta)-DP を出力するための実用的計算手法を提供し、実験によって改善を実証する。

提案手法

• 置換なしサブサンプリングを定義し、RDP のためのプライバシー増幅を量化する（定理 9）。
• サブサンプルと組み合わせた M の ε'(α) に対する厳密な上界を、ε(α)、γ、および ε(2)（および関連項）に基づいて証明する。
• 一般にはこの境界が鋭いことを示す下限（命題 11）を提示する。
• CGF K_M(λ) を象徴的に追跡し、(epsilon, delta)-DP へ効率的に変換する分析的モーメント会計のデータ構造を導入する。
• 純粋 DP やガウス/ラプラス機構を含む特別なケースを論じ、α と γ の漸近的な領域を概説する。

実験結果

リサーチクエスチョン

• RQ1 サブサンプリングは一般的な機構 M の Rényi DP パラメータにどのような影響を与えるか？
• RQ2 M をサブサンプルと組み合わせた場合、ε'(α) を ε(α) およびサンプリング比 γ に基づいて上界できるか？
• RQ3 導出された境界は厳密か？追加の個別の改善条件や下限で一致するか？
• RQ4 分析的モーメント会計を用いて組み合わせ全体でプライバシーパラメータを効率的に追跡できるか？
• RQ5 これらの境界をプライバシー保護型機械学習パイプラインで実装する際の実用的影響と計算上の考慮事項は何か？

主な発見

• 定理 9 による、γ、α、および ε(·) に基づく ε'(α) の M∘subsample に対する厳密な境界が提供される。
• この境界はガウス、ラプラス、指数族ベースの機構を含む任意の RDP 機構に適用可能である。
• 増幅挙動には α の位相遷移があり：小さい α では境界が O(α γ^2) にスケールし、 large α では ε(α) に近づくか γ ε(∞) にスケールすることがあり得る。
• 下限（命題 11）により、追加の個別改良なしには一般には上界を改善できないことを示している。
• 分析的モーメント会計を提案し、CGF を象徴的に追跡して固定のモーメントリストなしに効率的に (epsilon, delta)-DP を出力する。
• このフレームワークは M の適用前にサブサンプリングを許容しており、プライベート学習設定や他の DP 応用でより厳密なプライバシー会計を実現する。