[論文レビュー] Systematic Evaluation of Privacy Risks of Machine Learning Models

Liwei Song, Prateek Mittal|arXiv (Cornell University)|Mar 24, 2020

Adversarial Robustness in Machine Learning参考文献 45被引用数 84

ひとこと要約

本論文は、以前のメンバシップ推論リスク評価を批判し、非ニューラルネットワーク(NN)ベンチマーク攻撃を導入し、細粒度のプライバシーリスクスコアを提案するとともに、防御が主張ほど効果的でないことを示します。評価プロトコルと公開コードを提供します。

ABSTRACT

Machine learning models are prone to memorizing sensitive data, making them vulnerable to membership inference attacks in which an adversary aims to guess if an input sample was used to train the model. In this paper, we show that prior work on membership inference attacks may severely underestimate the privacy risks by relying solely on training custom neural network classifiers to perform attacks and focusing only on the aggregate results over data samples, such as the attack accuracy. To overcome these limitations, we first propose to benchmark membership inference privacy risks by improving existing non-neural network based inference attacks and proposing a new inference attack method based on a modification of prediction entropy. We also propose benchmarks for defense mechanisms by accounting for adaptive adversaries with knowledge of the defense and also accounting for the trade-off between model accuracy and privacy risks. Using our benchmark attacks, we demonstrate that existing defense approaches are not as effective as previously reported. Next, we introduce a new approach for fine-grained privacy analysis by formulating and deriving a new metric called the privacy risk score. Our privacy risk score metric measures an individual sample's likelihood of being a training member, which allows an adversary to identify samples with high privacy risks and perform attacks with high confidence. We experimentally validate the effectiveness of the privacy risk score and demonstrate that the distribution of privacy risk score across individual samples is heterogeneous. Finally, we perform an in-depth investigation for understanding why certain samples have high privacy risks, including correlations with model sensitivity, generalization error, and feature embeddings. Our work emphasizes the importance of a systematic and rigorous evaluation of privacy risks of machine learning models.

研究の動機と目的

• ニューラルネットワークを超える攻撃者からのメンバーシップ推論リスクの評価を検討する。
• 非NNベンチマーク攻撃と、真の情報に基づくエントロピーに着想を得た攻撃を導入してプライバシーリスクを測定する。
• 個々のサンプルリスクを評価するための細粒度なプライバシーリスクスコアを提案する。
• 適応的/対 adversarial 設定の下で既存の防御を評価する。
• 再現性のあるプライバシーリスク評価のためのアクセス可能なベンチマークとコードを提供する。

提案手法

• クラス依存閾値を含む非NNベースの推定攻撃と、改良された予測エントロピー攻撃を用いてベンチマークを行う。
• 真のラベル情報をよりよく捉えるように、改良された指標「修正予測エントロピー（Mentr）」を導入する。
• 指標ベースの攻撃の閾値設定にシャドウ訓練を用いてクラス固有の閾値を設定する。
• 適応的な攻撃者の下で防御を評価し、早期停止ベースラインと比較する。
• 個別サンプルのプライバシーリスクスコアを提案・算出してリスクの不均質性を明らかにする。

実験結果

リサーチクエスチョン

• RQ1 非NNベースの攻撃は、 defended モデルに対して NNベースの攻撃よりも高いメンバーシップ推論リスクを明らかにするか。
• RQ2 クラス固有閾値と修正エントロピーメトリックは攻撃の有効性にどう影響するか。
• RQ3 サンプルごとのプライバシーリスクスコアはトレーニングサンプル間のリスクの不均質性を示すか。
• RQ4 防御（例：対立規制、MemGuard）は適応的/対 adversarial 評価の下で堅牢か。
• RQ5 プライバシーリスク評価をどう標準化し、モデル精度とプライバシーのバランスを取るべきか。

主な発見

defense method	dataset	reported attack acc	our benchmark attack acc
Adversarial regularization [31]	Purchase100	51.6%	59.5%
Adversarial regularization [31]	Texas100	51.0%	58.6%
MemGuard [20]	Location30	50.1%	69.1%
MemGuard [20]	Texas100	50.3%	74.2%

• 非NNベンチマーク攻撃は、先行のNNベース評価と比べて推定プライバシーリスクを大きく高める（例：58.6%–74.2% vs ~50%）。
• 対適応的脅威の下でAdversarial RegularizationやMemGuardなどの防御は限定的なプライバシー保護しか提供せず、早期停止を一貫して上回らない。
• 修正予測エントロピー（Mentr）攻撃は標準的エントロピー攻撃より高い性能を示す。
• プライバシーリスクはサンプルごとに異なっており、提案するリスクスコアは高リスクメンバーの特定に有用。
• サンプルごとのリスク分析は集計分析を補完し、プライバシーの動態をより理解し防御評価を導く。