[論文レビュー] Generalization Techniques Empirically Outperform Differential Privacy against Membership Inference

Jiaxiang Liu, Simon Oya+1 more|arXiv (Cornell University)|Oct 11, 2021

Privacy-Preserving Technologies in Data参考文献 20被引用数 4

ひとこと要約

この論文は、微分プライバシー（DP）がメンバーシップ推定攻撃（MIAs）に対する最も効果的な防御であるという仮定に挑戦し、一般化技術（例：シャープネス・アンプル・ミニマイゼーション（SAM）やエアリー・ストッピング）が、プライバシーと有用性の両面でDP-SGDを上回ることを示している。驚くべきことに、ゼロノイズのDP-SGDですら、過学習を低減する非プライベートな一般化手法よりも性能が悪い。非プライベート手法は、過学習を減らすことで、より高い精度とMIAsに対するより良い保護を達成している。

ABSTRACT

Differentially private training algorithms provide protection against one of the most popular attacks in machine learning: the membership inference attack. However, these privacy algorithms incur a loss of the model's classification accuracy, therefore creating a privacy-utility trade-off. The amount of noise that differential privacy requires to provide strong theoretical protection guarantees in deep learning typically renders the models unusable, but authors have observed that even lower noise levels provide acceptable empirical protection against existing membership inference attacks. In this work, we look for alternatives to differential privacy towards empirically protecting against membership inference attacks. We study the protection that simply following good machine learning practices (not designed with privacy in mind) offers against membership inference. We evaluate the performance of state-of-the-art techniques, such as pre-training and sharpness-aware minimization, alone and with differentially private training algorithms, and find that, when using early stopping, the algorithms without differential privacy can provide both higher utility and higher privacy than their differentially private counterparts. These findings challenge the belief that differential privacy is a good defense to protect against existing membership inference attacks

研究の動機と目的

• 一般化技術（プライバシーのためではなくモデルの精度のためのもの）が、メンバーシップ推定攻撃（MIAs）に対して実証的にどの程度保護を提供するかを評価すること。
• DP-SGDと非プライベートな一般化手法（例：SAM、事前学習、エアリー・ストッピング）のプライバシー・ユーティリティのトレードオフを比較すること。
• SAMのような高度な最適化手法とDPノイズを組み合わせることで、プライバシーを向上させつつ有用性を損なわないかを検討すること。
• 特に高い有用性コストを伴うため、DPがMIAsに対する最適な防御であるという一般的な信念に疑問を呈すること。

提案手法

• 著者たちは、CIFAR-10およびCIFAR-100データセット上で、最先端の一般化技術（SAM、ImageNetでの事前学習、エアリー・ストッピング）を評価した。
• 彼らは、さまざまなノイズレベル（σ）、クリッピングしきい値（C）、学習率（λ）を用いたDP-SGDと比較した。DP学習にはOpacusプライバシー・エンジンを用いた。
• モデルはDPノイズあり・なしで訓練され、分類精度とメンバーシップ推定攻撃の成功確率の両方で性能を測定した。
• 2つの標準的なMIAsが使用された：しきい値攻撃（Yeom et al., 2018）とニューラルネットワークベースの攻撃（Salem et al., 2018）。結果は各訓練エポックで報告された。
• DP-SAM（SAMとDP-SGDのハイブリッド）のアブレーション実験が行われ、両者の組み合わせがプライバシー・ユーティリティのトレードオフを改善するかを評価した。
• すべての実験はエアリー・ストッピングを含み、複数の訓練エポックにわたってプライバシー・ユーティリティの性能を評価し、動的挙動を分析した。

実験結果

リサーチクエスチョン

• RQ1 SAM やエアリー・ストッピングなどの一般化技術で訓練した場合、DP-SGD よりもメンバーシップ推定攻撃に対してより優れた実証的保護が得られるか？
• RQ2 ノイズレベルをゼロにしたDP-SGDのプライバシー・ユーティリティのトレードオフはどのようになるか？ また、非プライベートな一般化手法と比較するとどうなるか？
• RQ3 SAM を DP-SGD と組み合わせた DP-SAM は、標準的な DP-SGD よりもプライバシーを向上させつつ有用性を損なわないか？
• RQ4 ImageNet での事前学習やその他の標準的な機械学習実践は、モデルのメンバーシップ推定攻撃に対する耐性にどのように影響するか？
• RQ5 特定の訓練段階（例：エアリー・ストッピング）では、非プライベートモデルが精度とプライバシーの両面でDP正則化モデルを上回るのか？

主な発見

• ゼロノイズのDP-SGDは、プライバシーと有用性の両面で非プライベートな一般化技術に常に劣り、DPノイズが利益をもたらさず、むしろ性能を損なう可能性があることを示している。
• SAMは、CIFAR-10およびCIFAR-100の両方で、プライバシーと有用性の両面でDP-SGDを上回り、より高いテスト精度と低いメンバーシップ推定攻撃成功確率を達成している。
• あらゆるノイズレベルのDP-SGDよりも、ノイズなしのエアリー・ストッピングが優れたプライバシー・ユーティリティのトレードオフを達成しており、過学習の低減がノイズ注入よりも効果的であることを示唆している。
• SAMとDP-SGDを組み合わせたDP-SAMは、非DPのSAMに比べてプライバシーが向上せず、非プライベート版が精度と攻撃耐性の両面で優れている。
• 評価されたすべての手法の中で、非プライベートなSAMにエアリー・ストッピングを組み合わせた手法が、特にオーバーサンプルのサンプルに対して、高い精度と低いメンバーシップ推定成功確率のバランスを達成している。
• 結果から、過学習を低減する一般化技術は、内在的にプライバシーを向上させることを示しており、実証的MIA防御においてDPの必要性を疑問視するものである。