[論文レビュー] Bayesian Estimation of Differential Privacy

Santiago Zanella-Béguelin, Lukas Wutschitz+7 more|arXiv (Cornell University)|Jun 10, 2022

Privacy-Preserving Technologies in Data被引用数 10

ひとこと要約

本稿では、機械学習における微分プライバシー（DP）予算の推定に、新しいベイジアン手法を提案する。この手法は、メンバーインファレンス攻撃からの偽陽性率および偽陰性率の同時事後分布を活用し、εの信頼区間を著しく狭める。従来の手法と比較して、必要な標本サイズを最大40％まで削減可能であり、ラベルのみのDPから着想を得たヒューリスティックを応用して1モデルあたり複数のサンプルを生成することで、計算コストを最大2桁削減する。

ABSTRACT

Algorithms such as Differentially Private SGD enable training machine learning models with formal privacy guarantees. However, there is a discrepancy between the protection that such algorithms guarantee in theory and the protection they afford in practice. An emerging strand of work empirically estimates the protection afforded by differentially private training as a confidence interval for the privacy budget $\varepsilon$ spent on training a model. Existing approaches derive confidence intervals for $\varepsilon$ from confidence intervals for the false positive and false negative rates of membership inference attacks. Unfortunately, obtaining narrow high-confidence intervals for $ε$ using this method requires an impractically large sample size and training as many models as samples. We propose a novel Bayesian method that greatly reduces sample size, and adapt and validate a heuristic to draw more than one sample per trained model. Our Bayesian method exploits the hypothesis testing interpretation of differential privacy to obtain a posterior for $\varepsilon$ (not just a confidence interval) from the joint posterior of the false positive and false negative rates of membership inference attacks. For the same sample size and confidence, we derive confidence intervals for $\varepsilon$ around 40% narrower than prior work. The heuristic, which we adapt from label-only DP, can be used to further reduce the number of trained models needed to get enough samples by up to 2 orders of magnitude.

研究の動機と目的

• 機械学習モデルにおける理論的DP保証と実際のプライバシー保護のギャップを埋めること。
• 偽陽性率および偽陰性率の別々のClopper-Pearson信頼区間に依存する従来手法の限界を克服すること。これらの手法は大規模な標本サイズを必要とし、広い区間を生じさせる。
• 独立して訓練されたモデルの数を減らすことで、実験的DP推定の計算コストを低減すること。この目的で、1モデルあたり複数のサンプルを生成するヒューリスティックを適応する。
• 実世界のMLパイプラインにおける有効なプライバシー予算（ε）のより正確で信頼性の高い推定を提供すること。
• 異なるモデルタイプおよびプライバシー領域（非DPモデルを含む）において、適応したヒューリスティックの忠実性を検証すること。

提案手法

• メンバーインファレンス攻撃から得られる偽陽性率および偽陰性率の同時事後分布を、ベイジアン推論を用いてモデル化する。
• 微分プライバシーの仮説検定解釈を用い、攻撃率の同時事後分布から、プライバシー予算εの事後分布を導出する。
• 導出された事後分布に基づき、頻度主義の信頼区間よりもタイトな不確実性の定量化が可能な、εの信用区間を適用する。
• 1モデルあたりm > 1のメンバーインファレンスクエリを生成できるように、ラベルのみのDPから着想を得たヒューリスティックを適応・検証する。これにより、独立して訓練されたモデルの数を削減できる。
• モデル依存の損失閾値を用いてメンバーインファレンス攻撃の精度と計算コストのバランスを取る。
• m値（例：m = 1, 10, 100, 1000）を変化させた場合のε推定値を、m = 1のベースラインと比較し、推定εの累積分布関数（CDF）を用いてヒューリスティックの性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 偽陽性率および偽陰性率の同時分布をモデル化するベイジアンアプローチは、別々の信頼区間と比較して、εの信頼区間をより狭くできるか？
• RQ2 1モデルあたり複数のサンプルを生成するヒューリスティックは、実験的DP推定における独立して訓練されたモデルの数をどの程度削減できるか？
• RQ3 DPで訓練されたモデルと非DPモデルにこのヒューリスティックを適用した場合、得られるε推定値の忠実性はどの程度か？
• RQ4 従来のアプローチが0と理論的上限の両方を含む区間を生じさせるような状況でも、ベイジアン手法は意味のある推定を提供できるか？
• RQ5 ヒューリスティックの性能は、異なるモデルアーキテクチャおよびプライバシー予算の設定でどのように変化するか？

主な発見

• 提案手法は、同じ標本数を用いても、Clopper-Pearson信頼区間と比較してεの信頼区間を最大40％まで狭める。
• 同じ標本サイズおよび信頼水準において、ベイジアンアプローチはεの推定を著しく高精度に実現し、より少ないリソースでより強いプライバシー結論を導ける。
• 適応したヒューリスティックにより、独立して訓練されたモデルの数を最大2桁削減でき、計算コストを著しく削減した。
• DPで訓練されたモデルに対しては、ヒューリスティックが忠実な推定を提供し、m = 10がDPモデル（例：SST2でε = 4）においてm = 1のベースラインに最も近い推定値を生成した。
• 非DPモデルでは、ヒューリスティックがm = 1のベースラインと比較して、実験的DPの上限を顕著に低く推定する傾向があり、DPが適用されていない状況では信頼性が低いことが示唆された。
• 従来の手法が0と理論的上限の両方を含む区間を生じさせるような状況（例：表4）でも、ベイジアン手法は意味のある推定を提供した。