[論文レビュー] Towards Demystifying Membership Inference Attacks

Stacey Truex, Ling Liu+3 more|arXiv (Cornell University)|Jun 28, 2018

Adversarial Robustness in Machine Learning参考文献 35被引用数 86

ひとこと要約

この論文はブラックボックスのメンバーシップ推論攻撃を形式化し、シャドウデータセットとシャドウモデルを用いた一般的な攻撃フレームワークを構築し、データ駆動型および転移可能性のある脆弱性を、モデルとデータセット間で、さらには連邦学習の内部リスクを含めて実証的に示している。

ABSTRACT

Membership inference attacks seek to infer membership of individual training instances of a model to which an adversary has black-box access through a machine learning-as-a-service API. In providing an in-depth characterization of membership privacy risks against machine learning models, this paper presents a comprehensive study towards demystifying membership inference attacks from two complimentary perspectives. First, we provide a generalized formulation of the development of a black-box membership inference attack model. Second, we characterize the importance of model choice on model vulnerability through a systematic evaluation of a variety of machine learning models and model combinations using multiple datasets. Through formal analysis and empirical evidence from extensive experimentation, we characterize under what conditions a model may be vulnerable to such black-box membership inference attacks. We show that membership inference vulnerability is data-driven and corresponding attack models are largely transferable. Though different model types display different vulnerabilities to membership inference, so do different datasets. Our empirical results additionally show that (1) using the type of target model under attack within the attack model may not increase attack effectiveness and (2) collaborative learning exposes vulnerabilities to membership inference risks when the adversary is a participant. We also discuss countermeasure and mitigation strategies.

研究の動機と目的

• ブラックボックスアクセス下での機械学習サービスにおけるメンバーシッププライバシーリスクを特徴づける。
• シャドウデータセットとシャドウモデルを用いた一般化攻撃モデルフレームワークを開発する。
• ターゲットモデルのタイプと訓練データがメンバーシップ推論攻撃の脆弱性に与える影響を評価する。
• 連邦学習シナリオにおける内部者メンバーシップ推論リスクを探る。
• 対策と緩和戦略を検討する。

提案手法

• ブラックボックスのメンバーシップ推論の一般的な攻撃モデルをバイナリ分類器タスクとして形式化する。
• APIプロービングを用いてターゲット訓練データ構造を模倣するシャドウデータセット生成を導入する。
• シャドウモデルから攻撃モデルの訓練データを作成し、バイナリのメンバーシップ分類器を訓練する。
• 攻撃の汎化性と頑健性を高めるためにシャドウモデル生成にエンサンブル手法を探る。
• ターゲットモデルとデータセット間でデータ駆動型の脆弱性と転移性をデモンストレーションする。
• 連邦学習における内部関係者をメンバーシップ推論リスクとして検討する。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックスのメンバーシップ推論攻撃に対してモデルが脆弱となる条件は何か。
• RQ2 ターゲットモデルのタイプ、訓練データ、および攻撃データ生成が攻撃の効果と転移性にどのように影響するか。
• RQ3 シャドウデータセットとシャドウモデルはターゲットモデルの挙動を効果的な攻撃のために正確に反映できるか。
• RQ4 連邦学習（フェデレーテッドラーニング）設定におけるメンバーシップ推論のリスク、内部リスクを含む。

主な発見

• メンバーシップ推論の脆弱性はデータ駆動型であり、攻撃モデルは設定間で比較的転移可能である。
• 異なるデータセットや異なるターゲットモデルは脆弱性に差を生み、すべてのケースに共通の弱点パターンが存在するわけではない。
• 攻撃モデル内でターゲットモデルのタイプを利用しても、攻撃の有効性が必ずしも高まるわけではない。
• 協調学習または連邦学習環境は、内部者が参加する場合にメンバーシップ推論の脆弱性を露出する。
• シャドウデータセットとシャドウモデルを用いた攻撃構築はブラックボックスアクセスでも有効になり得る。
• 対策と緩和戦略がこれらのプライバシーリスクに対処するために議論されている。