[論文レビュー] Bounding Training Data Reconstruction in Private (Deep) Learning

Chuan Guo, Brian Karrer+2 more|arXiv (Cornell University)|Jan 28, 2022

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本稿は、微分プライバシー機械学習における訓練データ再構築攻撃に対して、新たな意味的プライバシー保証を提供する。Rényi微分プライバシー（RDP）とFisher情報漏洩（FIL）会計の両方が、敵の再構築における平均二乗誤差（MSE）の強い下界を示しており、特にFILにおけるプライバシー保護が、高い性能であっても訓練サンプルの大部分を保護していることを示している。MSEの下界は、RDP単独の場合よりも桁違いにタイトである。

ABSTRACT

Differential privacy is widely accepted as the de facto method for preventing data leakage in ML, and conventional wisdom suggests that it offers strong protection against privacy attacks. However, existing semantic guarantees for DP focus on membership inference, which may overestimate the adversary's capabilities and is not applicable when membership status itself is non-sensitive. In this paper, we derive the first semantic guarantees for DP mechanisms against training data reconstruction attacks under a formal threat model. We show that two distinct privacy accounting methods -- Renyi differential privacy and Fisher information leakage -- both offer strong semantic protection against data reconstruction attacks.

研究の動機と目的

• データ再構築攻撃（DRA）に対する意味的プライバシー保証のギャップを埋めること。DRAはメンバーシップ推定攻撃よりも強力である。
• 敵がプライベートモデルから訓練データをどれだけよく再構築できるかを示す、解釈可能で定量的なプライバシー保証を提供すること。
• RDPやFILのような既存のプライバシー会計法が、メンバーシップ状態が敏感でない場合でも、DRAに対して意味のある保護を提供できることを示すこと。
• FILがRDPよりもタイトで現実的であるプライバシー境界を提供することを実験的に検証し、特に個々の訓練サンプルに対して有効であることを示すこと。
• Fisher情報漏洩（FIL）会計をプライベートSGDに拡張し、個々のサンプルのプライバシー漏洩を推定する有効性を示すこと。

提案手法

• $(2,\epsilon)$-Rényi微分プライバシー下での敵の再構築における期待平均二乗誤差（MSE）の下界を導出。これは $\Theta(1/(e^{\epsilon}-1})$ のスケーリングを示す。
• プライベート学習におけるFisher情報漏洩（FIL）の新規応用を導入。Fisher情報行列（FIM）を用いて個々のサンプルのプライバシー漏洩を推定する。
• FIMをランダム座標サンプリングとサブサンプリングバウンディングにより近似する微分可能FIL（dFIL）会計者を提案。深層学習モデルにスケーリング可能である。
• Cramér-Rao下界を用いて、FIMの逆行列と不偏推定量の最小可能MSEを結びつけ、プライバシー保証を可能にする。
• MNISTおよびCIFAR-10で、RDPおよびdFILの両方の境界を用いて、ハイパーパramータのグリッドサーチを実施し、プライバシーと性能のトレードオフを評価。
• 実験的にdFIL推定値とCIFAR-10の個々の画像に対する実際の再構築脆弱性の相関関係を検証。

実験結果

リサーチクエスチョン

• RQ1 Rényi微分プライバシーは、データ再構築攻撃に対して意味のある意味的保証を提供できるか？
• RQ2 Fisher情報漏洩（FIL）は、プライベート学習モデルにおいてRDPよりもタイトで解釈可能なプライバシー境界を提供できるか？
• RQ3 dFILが推定する個々のサンプルのプライバシー漏洩は、実際のデータ再構築攻撃への脆弱性とどの程度相関しているか？
• RQ4 既存のプライベート学習アルゴリズムは、高い $\epsilon$ であっても、個々の訓練サンプルに関する情報をどれほど漏洩しているか？
• RQ5 dFIL会計は、プライベートSGDのような深層学習モデルにおける、頑健なプライバシーと性能のトレードオフをサポートできるか？

主な発見

• RDPに基づくMSE下界は $\Theta(1/(e^{\epsilon}-1})$ のスケーリングを示し、$\epsilon$ が小さい場合、再構築誤差が高く保たれることから、プライバシーが良好に保護されていることが示された。
• dFILに基づくMSE下界は、同等のモデル性能においてRDPの下界よりも桁違いに高い値を示しており、はるかに強いプライバシー保証を示している。
• MNISTでは、dFILに基づくプライバシー閾値に達するまでに97％のテスト精度に達しており、高い性能でも強力な保護が得られていることが示された。
• CIFAR-10では、64％のテスト精度でもdFIL境界は非常に高い（$\texttt{MSE} \geq 0.1$）ままであり、RDP境界はより早く閾値に達した。
• 高精度のモデルにおいても、訓練データ全体におけるdFIL中央値は依然として高く保たれており、大多数のサンプルが再構築攻撃から安全であることが示された。
• dFIL値が高いサンプルは通常、分類が難しい画像であり、dFIL値が低いサンプルは一般的で容易に識別可能な画像であることが確認され、dFILと再構築脆弱性との相関関係が裏付けられた。