[論文レビュー] Bounding Membership Inference

Anvith Thudi, Ilia Shumailov+2 more|arXiv (Cornell University)|Feb 24, 2022

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

本稿では、$(\varepsilon,\delta)$-微分プライバシーで訓練されたモデルに対するメンバーインファレンス（MI）攻撃の正確性に関する、よりきつい理論的境界を提示している。訓練の前段階でデータセットのサブサンプリングを行うことで、より強いDP保証よりもMIの成功確率を顕著に低減できることが示されている。主な貢献は、トレーニングセットのサブサンプリングによる新たなプライバシーの強化スキームであり、これは、プライバシーを損なわず、よりゆるいDP設定を可能にすることで、MNISTおよびCIFAR10における精度-プライバシーのトレードオフを改善する。

ABSTRACT

Differential Privacy (DP) is the de facto standard for reasoning about the privacy guarantees of a training algorithm. Despite the empirical observation that DP reduces the vulnerability of models to existing membership inference (MI) attacks, a theoretical underpinning as to why this is the case is largely missing in the literature. In practice, this means that models need to be trained with DP guarantees that greatly decrease their accuracy. In this paper, we provide a tighter bound on the positive accuracy (i.e., attack precision) of any MI adversary when a training algorithm provides $(\varepsilon, δ)$-DP. Our bound informs the design of a novel privacy amplification scheme: an effective training set is sub-sampled from a larger set prior to the beginning of training. We find this greatly reduces the bound on MI positive accuracy. As a result, our scheme allows the use of looser DP guarantees to limit the success of any MI adversary; this ensures that the model's accuracy is less impacted by the privacy guarantee. While this clearly benefits entities working with far more data than they need to train on, it can also improve the accuracy-privacy trade-off on benchmarks studied in the academic literature. Consequently, we also find that subsampling decreases the effectiveness of a state-of-the-art MI attack (LiRA) much more effectively than training with stronger DP guarantees on MNIST and CIFAR10. We conclude by discussing implications of our MI bound on the field of machine unlearning.

研究の動機と目的

• 微分プライバシー（DP）とメンバーインファレンス（MI）攻撃の耐性の間の理論的ギャップを埋めること、特に攻撃の正確性に関して。
• $(\varepsilon,\delta)$-DPモデルに対するMIの正の正確性（すなわち、攻撃の正確性）のよりきつい境界を確立すること。
• データセットのサブサンプリングが、従来のDPの強化手法よりも、MIの脆弱性をより効果的に低減するプライバシーの強化の形としてどのように機能するかを調査すること。
• サブサンプリングと組み合わせることで、ゆるいDP保証を許容しつつ、精度-プライバシーのトレードオフを改善すること。
• 境界を機械的アンラーニングの問題に適用し、データの忘れの成功に関する理論的基準を提供すること。

提案手法

• 有限な候補となるトレーニング点の集合を活用し、数え上げの補題を用いてMIの正の正確性のきつい上界を導出する。
• より大きなプールからトレーニングデータセットをサブサンプリングすることに基づく、新たなプライバシーの強化スキームを提案する。
• プライバシー保証におけるわずかな失敗確率を考慮し、$(\varepsilon,\delta)$-DPへの境界の拡張を実施する。
• DP-SGDにおけるバッチサンプリングと比較して、サブサンプリングがプライバシーの強化をより効果的に実現し、MIの成功確率を顕著に低減することを示す。
• 導出された境界を用いて、機械的アンラーニングのための理論的閾値を定義する：アンラーニングされたデータポイントについて、メンバーインファレンスの確率が十分に低い場合、モデルはそのデータを「忘れた」とみなされる。
• MNISTおよびCIFAR10において境界を実証的に検証し、LiRA攻撃下でサブサンプリングとより強いDP保証を比較する。

実験結果

リサーチクエスチョン

• RQ1 $(\varepsilon,\delta)$-微分プライバシーで訓練されたモデルに対するメンバーインファレンス攻撃の正の正確性を理論的にどのように境界づけられるか。
• RQ2 DP保証を強化するのと比較して、トレーニングデータセットをサブサンプリングすることは、メンバーインファレンス攻撃の成功をどの程度低減するか。
• RQ3 サブサンプリングに基づくプライバシーの強化は、バッチサンプリングなどの従来のDPの強化技術を上回り、MIの脆弱性をより効果的に低減できるか。
• RQ4 提案された境界は、効果的な機械的アンラーニングプロトコルの設計にどのように寄与するか。
• RQ5 境界は、現在のDP保証が、データセット構築（例：サブサンプリング）を考慮すると、過剰に慎重である可能性を明らかにしているか。

主な発見

• 提案されたMI正の正確性の境界は、先行研究よりもきついものであり、特に高信頼度の予測において顕著である。この境界は、データポイントがトレーニングセットに属する事前確率 $\mathbb{P}_{\mathbf{x}^{*}}(1)$ に依存する。
• より大きなプールからトレーニングデータセットをサブサンプリングすることで、DP保証の $\varepsilon$ を小さくするのと比較して、MI正の正確性をより顕著に低減できることが、MNISTおよびCIFAR10で示された。
• LiRA攻撃において、より強いDP保証を用いるよりも、サブサンプリングにより成功確率の低下が顕著に見られ、提案された強化スキームの実用的利点を示している。
• 境界により、機械的アンラーニングの新しい定義が可能になった：メンバーインファレンスの確率が十分に低い場合、モデルはそのデータポイントを「忘れた」とみなされる。
• この手法により、よりゆるいDP保証（例：より高い $\varepsilon$）を用いても、依然として強いMI耐性を確保でき、プライバシーを損なわず、モデルの精度を向上させることができる。
• MI精度に関する理論的境界は、データセットにわたって頑健であり、固定された $50\%$ のベースライン正確性に基づく仮定が、攻撃者の優位性を低く見積もっている可能性を示している。