[論文レビュー] Use the Spear as a Shield: A Novel Adversarial Example based Privacy-Preserving Technique against Membership Inference Attacks

Mingfu Xue, Chengxiang Yuan+5 more|arXiv (Cornell University)|Nov 27, 2020

Adversarial Robustness in Machine Learning参考文献 25被引用数 5

ひとこと要約

この論文では、モデルの予測に対して敵対的摂動を適用することで、メンバー推定攻撃に対する防御を実現する新しいプライバシー保護技術AEPPTを提案する。正確性に影響を与えることなく、ターゲットモデルの出力をわずかに変更することで、攻撃者のメンバー推定の正確性と再現率を約50%に低下させ、攻撃がランダム推測よりも優れているとは言えなくなる。

ABSTRACT

Recently, the membership inference attack poses a serious threat to the privacy of confidential training data of machine learning models. This paper proposes a novel adversarial example based privacy-preserving technique (AEPPT), which adds the crafted adversarial perturbations to the prediction of the target model to mislead the adversary's membership inference model. The added adversarial perturbations do not affect the accuracy of target model, but can prevent the adversary from inferring whether a specific data is in the training set of the target model. Since AEPPT only modifies the original output of the target model, the proposed method is general and does not require modifying or retraining the target model. Experimental results show that the proposed method can reduce the inference accuracy and precision of the membership inference model to 50%, which is close to a random guess. Further, for those adaptive attacks where the adversary knows the defense mechanism, the proposed AEPPT is also demonstrated to be effective. Compared with the state-of-the-art defense methods, the proposed defense can significantly degrade the accuracy and precision of membership inference attacks to 50% (i.e., the same as a random guess) while the performance and utility of the target model will not be affected.

研究の動機と目的

• 機械学習モデルの学習データのプライバシーを脅かすメンバー推定攻撃の増大する脅威に対処すること。
• モデルの有用性を保ちながら、メンバー推定モデルを効果的に攪乱する防御機構を開発すること。
• ターゲットモデルの再訓練やアーキテクチャの変更を必要としない汎用的防御を構築すること。
• 防御メカニズムを把握している適応的攻撃者に対しても耐性を持つこと。
• 摂動の大きさを最小限に抑え、検出されにくくしながらも、最大限の保護を提供すること。

提案手法

• メンバーと非メンバーのデータを用いて代替のメンバー推定モデルを訓練し、脆弱な予測パターンを特定する。
• L1-ノルムを用いて敵対的摂動を生成し、メンバー推定モデルを欺く一方で、ターゲットモデルの予測正確性を維持する。
• 生成された摂動を元のモデルの予測に適用し、メンバー状態を曇らせる敵対的出力を得る。
• 摂動が小さく（CIFAR100ではL1-ノルム ≈ 0.2637）、人間には検出できないが、メンバー推定性能を著しく低下させるようにする。
• 攻撃者がモデル構造や学習アルゴリズムを把握している可能性があるブラックボックスまたはホワイトボックスの脅威モデルを想定し、強い攻撃仮定下での耐性を検証する。
• 出力クラス数、攻撃者データサイズ、さまざまなメンバー推定モデルの変種を変化させた上で、一般化性を確認するための評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 モデルの予測に適用される敵対的摂動は、ターゲットモデルの正確性に影響を与えずに、メンバー推定攻撃の性能を著しく低下させることができるか？
• RQ2 攻撃者が防御メカニズムを把握している適応的攻撃において、提案手法はどのように動作するか？
• RQ3 メンバー推定正確性をほぼランダムレベル（すなわち約50%）に低下させるために必要な最小摂動サイズはどの程度か？
• RQ4 異なるデータセット、モデルアーキテクチャ、メンバー推定モデルのバリエーションにおいて、防御はどの程度耐性を示すか？
• RQ5 防御は、元のモデルの高機能性と性能を維持しながら、強力なプライバシー保証を提供できるか？

主な発見

• 提案されたAEPPTは、メンバー推定モデルの正確性と再現率を約50%に低下させ、ランダム推測と同等の性能を達成する。
• CIFAR100データセットでは、AEPPT適用後、メンバー推定モデルの再現率が88.7%から51.9%に低下した。
• Purchaseデータセットでは、再現率が98.5%から17.1%に低下し、非常に正確な攻撃モデルに対しても強い耐性を示す。
• CIFAR100では追加された敵対的摂動のL1-ノルムはわずか0.2637であり、予測への変更が最小限で、人間には検出できないことを示している。
• 攻撃者が防御メカニズム、特にモデル構造や学習アルゴリズムの知識を把握している適応的攻撃に対しても、防御は効果を示す。
• 出力クラス数、攻撃者データサイズ、さまざまなメンバー推定モデルのバリエーションにわたっても、防御は強力な一般化性を示している。