[論文レビュー] Membership Inference Attacks on Machine Learning: A Survey

Hongsheng Hu, Zoran Salčić+4 more|arXiv (Cornell University)|Mar 14, 2021

Adversarial Robustness in Machine Learning被引用数 31

ひとこと要約

本論文は、機械学習モデルに対するメンバーシップ推論攻撃（MIA）と防御の初の包括的調査を提示し、分類法、データセット、指標、オープンリソースを取り上げる。

ABSTRACT

Machine learning (ML) models have been widely applied to various applications, including image classification, text generation, audio recognition, and graph data analysis. However, recent studies have shown that ML models are vulnerable to membership inference attacks (MIAs), which aim to infer whether a data record was used to train a target model or not. MIAs on ML models can directly lead to a privacy breach. For example, via identifying the fact that a clinical record that has been used to train a model associated with a certain disease, an attacker can infer that the owner of the clinical record has the disease with a high chance. In recent years, MIAs have been shown to be effective on various ML models, e.g., classification models and generative models. Meanwhile, many defense methods have been proposed to mitigate MIAs. Although MIAs on ML models form a newly emerging and rapidly growing research area, there has been no systematic survey on this topic yet. In this paper, we conduct the first comprehensive survey on membership inference attacks and defenses. We provide the taxonomies for both attacks and defenses, based on their characterizations, and discuss their pros and cons. Based on the limitations and gaps identified in this survey, we point out several promising future research directions to inspire the researchers who wish to follow this area. This survey not only serves as a reference for the research community but also provides a clear description for researchers outside this research domain. To further help the researchers, we have created an online resource repository, which we will keep updated with future relevant work. Interested readers can find the repository at https://github.com/HongshengHu/membership-inference-machine-learning-literature.

研究の動機と目的

• MLモデルに対するメンバーシップ推論攻撃と防御の包括的レビューを提供する。
• 攻撃者の知識、ターゲットモデル、および方法論に基づいてMIAと防御の分類法を開発する。
• 実証研究とベンチマークを支援するためにデータセット、指標、およびオープンソース資源を要約する。

提案手法

• MIAを二値分類器ベースと指標ベースのアプローチに分類し、ホワイトボックスとブラックボックスの設定を詳述する。
• シャドウトレーニングを、攻撃モデルの訓練データを構築する方法として説明する。
• 入力表現を用いたホワイトボックスおよびブラックボックスの両方のシナリオにおける二値分類器攻撃モデルを説明する。
• 予測の正確さ、損失、信頼度、エントロピー指標を用いた指標ベースのMIAを概説する。

実験結果

リサーチクエスチョン

• RQ1 MLモデルに対するメンバーシップ推論攻撃の主な分類と機構は何か？
• RQ2 攻撃者はホワイトボックスおよびブラックボックスアクセスの下で、どのように効果的なMIAを構築できるか？
• RQ3 MIAの研究に存在する防御とデータセット/指標は何であり、今後の方向性は何か？
• RQ4 MIAと防御のベンチマークと再現性を促進するオープンリソースは何があるか？

主な発見

• MIAは訓練メンバーと非メンバー間のモデル挙動の差を利用して所属を推測する。
• シャドウトレーニングはシャドウモデルとラベル付きのメンバー/非メンバー情報を作成することにより、効果的な二値分類器ベースのMIAを実現する。
• ホワイトボックスのMIAはブラックボックスより多くの情報を提供するが、ブラックボックスのMIAは知識が限られている場合に非常に危険となり得る。
• 指標ベースのMIAは予測の正確さ、損失、信頼度、エントロピーを用いてしきい値で所属を決定する。