[論文レビュー] Attack-Aware Noise Calibration for Differential Privacy

Bogdan Kulynych, Juan Felipe Gomez+3 more|arXiv (Cornell University)|Jul 2, 2024

Network Security and Intrusion Detection被引用数 5

ひとこと要約

この論文は、DPノイズを運用上のプライバシーリスク（攻撃リスク）に対して直接キャリブレーションすることをf-DPとプライバシー損失乱数変数を用いて提案し、標準のεベースのキャリブレーションより有用性を改善する。

ABSTRACT

Differential privacy (DP) is a widely used approach for mitigating privacy risks when training machine learning models on sensitive data. DP mechanisms add noise during training to limit the risk of information leakage. The scale of the added noise is critical, as it determines the trade-off between privacy and utility. The standard practice is to select the noise scale to satisfy a given privacy budget $\varepsilon$. This privacy budget is in turn interpreted in terms of operational attack risks, such as accuracy, sensitivity, and specificity of inference attacks aimed to recover information about the training data records. We show that first calibrating the noise scale to a privacy budget $\varepsilon$, and then translating ε to attack risk leads to overly conservative risk assessments and unnecessarily low utility. Instead, we propose methods to directly calibrate the noise scale to a desired attack risk level, bypassing the step of choosing $\varepsilon$. For a given notion of attack risk, our approach significantly decreases noise scale, leading to increased utility at the same level of privacy. We empirically demonstrate that calibrating noise to attack sensitivity/specificity, rather than $\varepsilon$, when training privacy-preserving ML models substantially improves model accuracy for the same risk level. Our work provides a principled and practical way to improve the utility of privacy-preserving ML without compromising on privacy. The code is available at https://github.com/Felipe-Gomez/riskcal

研究の動機と目的

• DP guarantees beyond εの実用的な解釈を動機づけ、運用上の攻撃リスクに焦点を当てる。
• ε→リスクの写像を回避する攻撃対策のノイズキャリブレーションを導入する。
• DP-SGDを含む一般的なDPメカニズムに対してf-DPの下でリスクを計算する効率的な方法を開発する。
• 言語処理および画像タスクにおけるリスクベースのキャリブレーションから実質的な有用性の向上を示す。

提案手法

• DPをf-DPを介した仮説検定問題として位置づけ、ノイズを攻撃リスクに関連付ける。
• 支配的ペアとプライバシー損失乱数変数（PLRVs）を用いて攻撃リスクを境界付ける。
• 利得キャリブレーションとFPR/FNRベースのキャリブレーションを開発し、目標リスクに対して直接ノイズを設定する。
• リスク制約下でノイズをキャリブレーションするアルゴリズム（二分探索付き）を提供する。
• DP-SGDと正規分布機構に適用し、リスク計算を効率化（評価あたり約500ms）。
• リスクキャリブレーション実装を備えたPythonパッケージを公開する。

実験結果

リサーチクエスチョン

• RQ1 f-DPの下で固定εを介さず、ノイズを直接運用上の攻撃リスクにキャリブレーションできるか？
• RQ2 PLRVsと支配的ペアをどのように用いてDPメカニズムの厳密なリスク境界を計算できるか？
• RQ3 攻撃優位性にキャリブレーションする場合とFPR/FNRリスク領域にキャリブレーションする場合でどのような有用性の利得があるか？
• RQ4 低FPR領域での攻撃力が高まるなどの落とし穴に対してリスクベースのキャリブレーションは頑健か？
• RQ5 提案手法は秘密NLPとCVタスク（例：SST-2でのGPT-2、CIFAR-10でのCNN）でどのように機能するか？

主な発見

• 直接の攻撃リスクキャリブレーションは標準εベースのキャリブレーションに対して必要ノイズスケールを小さく抑える（設定によって最大2×）。
• 攻撃優位性のためのキャリブレーションは、固定リスク下のDP-SGDで最大3.5×のノイズ削減を実現できるが、低FPR領域で攻撃力が増加する可能性がある。
• 特定のFPR/FNR領域にキャリブレーションすると、優位性キャリブレーションの低FPR落とし穴を回避できる。
• SST-2でプライベートGPT-2を用い、CIFAR-10でリスクベースのキャリブレーションは顕著な精度向上をもたらす（例：GPT-2 SST-2で18ポイントの改善）。
• 著者らはリスクキャリブレーションアルゴリズムを実装したPythonパッケージriskcalを提供している。