[論文レビュー] Understanding Membership Inferences on Well-Generalized Learning Models

Yunhui Long, Vincent Bindschaedler+6 more|arXiv (Cornell University)|Feb 13, 2018

Adversarial Robustness in Machine Learning参考文献 35被引用数 164

ひとこと要約

この論文は、一般化MIA（GMIA）を用いたwell-generalizedモデルに対してメンバーシップ推定攻撃が成功し得ることを示し、脆弱なレコードを特定し、参照モデルを使用し、実データ評価で直接・間接推定の両方を実証する。

ABSTRACT

Membership Inference Attack (MIA) determines the presence of a record in a machine learning model's training data by querying the model. Prior work has shown that the attack is feasible when the model is overfitted to its training data or when the adversary controls the training algorithm. However, when the model is not overfitted and the adversary does not control the training algorithm, the threat is not well understood. In this paper, we report a study that discovers overfitting to be a sufficient but not a necessary condition for an MIA to succeed. More specifically, we demonstrate that even a well-generalized model contains vulnerable instances subject to a new generalized MIA (GMIA). In GMIA, we use novel techniques for selecting vulnerable instances and detecting their subtle influences ignored by overfitting metrics. Specifically, we successfully identify individual records with high precision in real-world datasets by querying black-box machine learning models. Further we show that a vulnerable record can even be indirectly attacked by querying other related records and existing generalization techniques are found to be less effective in protecting the vulnerable instances. Our findings sharpen the understanding of the fundamental cause of the problem: the unique influences the training instance may have on the model.

研究の動機と目的

• MLモデルにおけるメンバーシップ開示の過剰適合が唯一の要因か再評価する。
• well-generalizedモデルを攻撃可能な一般化メンバーシップ推定攻撃（GMIA）を開発する。
• ブラックボックス問い合わせを介してメンバーシップを明らかにする小さな影響を特定し、脆弱なトレーニングレコードを特定する。
• 実世界データセットで攻撃の有効性を評価し、正則化防御と比較する。

提案手法

• well-generalized targetsに対してシャドウモデルに依存しない一般化メンバーシップ推定攻撃（GMIA）を導入する。
• ブートストラップサンプリングを用いて targets の挙動を模倣する参照モデルを構築する。
• 参照モデルからの高位特徴を用いて一意の影響を測定し、脆弱なターゲットレコードを選択する。
• ターゲットモデルの出力を参照モデルの分布と比較し、対数損失に基づく仮説検定を用いて直接推定を行う。
• 非ターゲットレコードでクエリを実施し、 Enhancingレコードを特定することで間接推定を可能にし、Kostの手法と組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 MLモデルにおけるメンバーシップ開示には過剰適合が必要条件か？
• RQ2 トレーニングアルゴリズムへのアクセスなしにwell-generalizedモデルでメンバーシップ推定は成功するか？
• RQ3 過剰適合を超えたメンバーシップリークの原因は何か、脆弱なトレーニングレコードを検出できるか？
• RQ4 GMIAは直接推定と間接推定の両方でどの程度効果的か？
• RQ5 正則化技術は実データセット上でGMIAの成功にどのような影響を与えるか？

主な発見

• メIAはwell-generalizedモデルで成功し得ることがあり、選択された脆弱なレコードに対して高精度の攻撃を示す。
• MNISTでは、73.88%のモデルが脆弱なオブジェクトに対して93.36%の攻撃精度を示した。
• Cancerでは、3.2%のモデルがターゲット患者に対して88.89%の攻撃精度を示した。
• Adultでは、5.23%のモデルがターゲット個人に対して73.91%の攻撃精度を示した。
• 正則化（例：L2）は脅威を確実に排除しない。例えば、MNIST推定は特定の設定下で100%の精度を持つモデルが34%あり、依然として実現可能である。
• 間接推定は一部のケースで直接推定より優れており、Adultデータセットではモデルの16%で100%の精度を達成する場合がある。