[論文レビュー] Stolen Memories: Leveraging Model Memorization for Calibrated White-Box Membership Inference

K. Rustan M. Leino, Matt Fredrikson|arXiv (Cornell University)|Jun 27, 2019

Adversarial Robustness in Machine Learning被引用数 68

ひとこと要約

この論文は、モデルの特徴の特異的な記憶化を利用して、校正された高精度推論を実現するホワイトボックスのメンバーシップ推定攻撃を提案し、差分プライバシーなどの防御を評価する。

ABSTRACT

Membership inference (MI) attacks exploit the fact that machine learning algorithms sometimes leak information about their training data through the learned model. In this work, we study membership inference in the white-box setting in order to exploit the internals of a model, which have not been effectively utilized by previous work. Leveraging new insights about how overfitting occurs in deep neural networks, we show how a model's idiosyncratic use of features can provide evidence for membership to white-box attackers---even when the model's black-box behavior appears to generalize well---and demonstrate that this attack outperforms prior black-box methods. Taking the position that an effective attack should have the ability to provide confident positive inferences, we find that previous attacks do not often provide a meaningful basis for confidently inferring membership, whereas our attack can be effectively calibrated for high precision. Finally, we examine popular defenses against MI attacks, finding that (1) smaller generalization error is not sufficient to prevent attacks on real models, and (2) while small-$ε$-differential privacy reduces the attack's effectiveness, this often comes at a significant cost to the model's accuracy; and for larger $ε$ that are sometimes used in practice (e.g., $ε=16$), the attack can achieve nearly the same accuracy as on the unprotected model.

研究の動機と目的

• ディープネットワークにおける過学習と記憶化が、内部特徴の利用を通じてメンバーシップ情報を漏らす仕組みを調査する。
• 対象データの訓練データへのアクセスを必要とせず、校正された高精度の推論をもたらすホワイトボックスのMI攻撃を開発する。
• 従来のブラックボックスおよびホワイトボックスのMI攻撃の限界を明示的に分析し、メンバーシップ予測の信頼性を高める手法を提案する。
• 提案攻撃を実データセットおよび合成データセットで評価し、それに対する防御策（例：差分プライバシー）を検討する。

提案手法

• 特異的な特徴利用を活用した証拠ベースのベイズ最適ホワイトボックスMI攻撃を導入する。
• ガウス的ナイーブベイズ仮定の下で、単純な線形ソフトマックスターゲットに対する線形ベイズ最適攻撃モデルを導出する（定理1）。
• 正確な D* および ˆD が未知の場合に、代理モデルからMIパラメータを取得する方法を示す（bayes-wb攻撃、観察1）。
• 学習された変位関数 D を用いて任意の分布へ一般化し general-wb 攻撃を作成する。
• 各層の局所線形近似を用いてディープネットワークへ攻撃を拡張する（セクション4）。
• 高精度推論を達成するために校正技術を取り入れる（アルゴリズム3）。

実験結果

リサーチクエスチョン

• RQ1 訓練済みモデルへのホワイトボックスアクセスは、出力挙動が良く一般化していても、モデルの内部特徴の利用を通じてメンバーシップ情報を明らかにできるか？
• RQ2 標的の訓練データへアクセスせずに、攻撃モデルを校正して高精度（自信のある）メンバーシップ推論を提供できるか？
• RQ3 代理モデルと分布仮定をどのように活用して、ホワイトボックスMIにおけるべきBayes最適なメンバーシップ予測を近似できるか？
• RQ4 差分プライバシーなどの実用的な防御策は、モデル精度の著しい低下を招くことなく、こうしたホワイトボックスMI攻撃を有意に緩和できるか？
• RQ5 解釈可能性と校正を維持しつつ、攻撃をディープニューラルネットワークへ拡張するにはどうすればよいか？

主な発見

• 提案されたホワイトボックス攻撃は、特徴利用の記憶化を利用して、従来のブラックボックスMI手法を上回る。
• ベイズ最適線形攻撃（定理1）は、ガウス型ナイーブベイズ仮定の下で正確なメンバーシップ予測を示し、校正済みの信頼度を可能にする。
• 正確な分布パラメータが利用できない場合、代理モデルとウェイト変位（bayes-wb、general-wb）は最適攻撃を近似する。
• 校正技術は、メンバーシップ推論の精度を高めるように決定閾値を調整できる。
• この攻撃は実データセットでも有効であり、小さなεのDPにより部分的にしか緩和されない。大きなεでは保護効果はほとんど得られないことが多い。
• 攻撃は、プライベート学習パラメータの選択を評価し、防御をストレステストする実践的なヒューリスティックを提供する。