[論文レビュー] Data and Model Dependencies of Membership Inference Attack

Shakila Mahjabin Tonni, Dinusha Vatsalan+4 more|arXiv (Cornell University)|Feb 17, 2020

Adversarial Robustness in Machine Learning参考文献 33被引用数 6

ひとこと要約

本論文は、データおよびモデルの特性がメンバーシップ推定攻撃（MIA）の成功に与える影響を実験的に調査し、公平性と相互情報量を正則化項として用いる防御手法を提案する。グループ、予測、個別公平性をモデル学習に組み込むことで、モデルの有用性を損なわずMIAの正確性を最大25%まで低下させることができ、従来のL1/L2正則化を上回る性能を示した。

ABSTRACT

Machine learning (ML) models have been shown to be vulnerable to Membership Inference Attacks (MIA), which infer the membership of a given data point in the target dataset by observing the prediction output of the ML model. While the key factors for the success of MIA have not yet been fully understood, existing defense mechanisms such as using L2 regularization \cite{10shokri2017membership} and dropout layers \cite{salem2018ml} take only the model's overfitting property into consideration. In this paper, we provide an empirical analysis of the impact of both the data and ML model properties on the vulnerability of ML techniques to MIA. Our results reveal the relationship between MIA accuracy and properties of the dataset and training model in use. In particular, we show that the size of shadow dataset, the class and feature balance and the entropy of the target dataset, the configurations and fairness of the training model are the most influential factors. Based on those experimental findings, we conclude that along with model overfitting, multiple properties jointly contribute to MIA success instead of any single property. Building on our experimental findings, we propose using those data and model properties as regularizers to protect ML models against MIA. Our results show that the proposed defense mechanisms can reduce the MIA accuracy by up to 25\% without sacrificing the ML model prediction utility.

研究の動機と目的

• 過適合性を超えて、データおよびモデルの特性がMIAの成功に与える統合的影響を理解すること。
• MIAに対する脆弱性を高めたり低くしたりする主要なデータおよびモデル要因を同定すること。
• 影響力のあるデータおよびモデル要因を正則化項として用いた、新たな防御手法の開発。
• 公平性に配慮した正則化が、モデルの正確性を損なわずMIAへの耐性を高めることを評価すること。
• 多様な機械学習アルゴリズムに適用可能なモデルに依存しない防御手法の提案。

提案手法

• シャドウデータセットのサイズ、クラスおよび特徴のバランス、データセットのエントロピーを含む、さまざまなデータ要因とMIA正確性の関係を実験的に分析する。
• 深さ、幅、およびサブグループやレコードごとの予測の公平性といった、モデル固有の要因を調査する。
• 異なるアーキテクチャを備えたシャドウモデルを用いて、モデル構成がMIAの有効性に与える影響を評価する。
• モデルの公平性指標に基づき、グループ公平性（δg）、予測公平性（δp）、個別公平性（δi）の3つの新しい正則化項を導入する。
• データレコードとモデルパラメータ間の相互情報量を正則化項として用い、情報漏洩を低減する。
• これらの正則化項を用いてモデルを学習し、MIA正確性、訓練/テストの正確性、損失の低下を評価する。

実験結果

リサーチクエスチョン

• RQ1 クラスバランス、特徴バランス、データセットエントロピーといったデータ要因は、MIA正確性にどのように影響するか？
• RQ2 深さ、幅、予測の公平性といったモデル固有の要因は、MIAの成功にどのように影響するか？
• RQ3 グループ、予測、個別公平性といった公平性指標を正則化に用いることで、MIA正確性を低下させつつモデルの有用性を損なわないか？
• RQ4 ターゲットモデルとシャドウモデルの構成の組み合わせは、MIAの有効性にどのように影響するか？
• RQ5 データとモデルパラメータ間の相互情報量は、MIA防御のための有効な正則化項として機能するか？

主な発見

• シャドウデータセットが大きくなるほど、ターゲットデータセットの特徴バランスが高いほどMIA正確性が上昇するが、クラスの不均衡や低エントロピーはMIAの成功を低下させる。
• 深くかつ広いニューラルネットワークは、より正確なメンバーシップ推定攻撃を可能にし、アーキテクチャの複雑さが脆弱性を高めることを示している。
• サブグループやレコードごとに予測行動がより公平なモデルは、MIAに対して著しく高い耐性を示す。
• 異なる種類のシャドウモデルを組み合わせることでMIAの有効性が向上し、攻撃の成功がモデルの組み合わせに依存することを示している。
• 公平性指標（δg、δp、δi）を正則化に用いることで、MIA正確性は最大25%まで低下し、L1およびL2正則化を上回る性能を示した。
• 提案された正則化項は、ベースラインおよび標準的な正則化手法と比較して、訓練損失を改善し、モデル正確性を維持またはわずかに向上させた。