[論文レビュー] Privacy Analysis of Deep Learning in the Wild: Membership Inference Attacks against Transfer Learning

Yang Zou, Zhikun Zhang+2 more|arXiv (Cornell University)|Sep 10, 2020

Privacy-Preserving Technologies in Data参考文献 34被引用数 16

ひとこと要約

本論文は、転移学習モデルに対するメンバー情報推定攻撃の最初の体系的分析を提示しており、ターゲットモデルのアーキテクチャが不明であっても、こうした攻撃が依然として極めて有効であることを示している。シャロウモデルの訓練を用いて、微調整されたResNet20モデルにおけるメンバー情報推定攻撃で最大95%のAUCを達成し、実世界のML導入における顕著なプライバシーリスクを明らかにした。

ABSTRACT

While being deployed in many critical applications as core components, machine learning (ML) models are vulnerable to various security and privacy attacks. One major privacy attack in this domain is membership inference, where an adversary aims to determine whether a target data sample is part of the training set of a target ML model. So far, most of the current membership inference attacks are evaluated against ML models trained from scratch. However, real-world ML models are typically trained following the transfer learning paradigm, where a model owner takes a pretrained model learned from a different dataset, namely teacher model, and trains her own student model by fine-tuning the teacher model with her own data. In this paper, we perform the first systematic evaluation of membership inference attacks against transfer learning models. We adopt the strategy of shadow model training to derive the data for training our membership inference classifier. Extensive experiments on four real-world image datasets show that membership inference can achieve effective performance. For instance, on the CIFAR100 classifier transferred from ResNet20 (pretrained with Caltech101), our membership inference achieves $95\%$ attack AUC. Moreover, we show that membership inference is still effective when the architecture of target model is unknown. Our results shed light on the severity of membership risks stemming from machine learning models in practice.

研究の動機と目的

• 微調整された教師モデルから学習する転移学習設定におけるメンバー情報推定攻撃の有効性を調査すること。
• ブラックボックスアクセス下で、教師および生徒モデルの両方のメンバー情報が露呈されるかどうかを評価すること。
• 生徒モデルにおける凍結層の数が攻撃性能に与える影響を分析すること。
• 攻撃者がターゲットモデルのアーキテクチャを把握していない場合でも、メンバー情報推定が依然として有効であるかどうかを評価すること。

提案手法

• ターゲットモデルの挙動を模倣するように、メンバー情報推定分類器の学習に用いるデータを生成するため、シャロウモデルの訓練を採用した。
• 3つの異なる攻撃シナリオを実施した：教師モデルを攻撃する、生徒モデルを攻撃する、および異なるアーキテクチャ間で攻撃知識を転送する。
• 転移学習に微調整を用い、生徒モデルとしてResNet20、教師モデルとしてVGG16を採用。Caltech101で事前学習し、CIFAR100、Flowers102、PubFig83で微調整した。
• AUC（受信器操作特性曲線下の面積）を用いて攻撃性能を評価し、推定モデルが訓練データと非訓練データを区別する能力を測定した。
• 生徒モデルにおける凍結層の数を体系的に変化させ、それがメンバー情報推定の成功に与える影響を評価した。
• ターゲットモデルとは異なるアーキテクチャ（例：VGG16のシャロウモデルがResNet20のターゲットモデルを攻撃）で訓練されたシャロウモデルを用いて、攻撃の転送性を調査した。

実験結果

リサーチクエスチョン

• RQ1 ターゲットモデルが微調整された生徒モデルである場合、特にそのアーキテクチャが不明であっても、メンバー情報推定攻撃は依然として有効であるか？
• RQ2 生徒モデルにおける凍結層の数が、メンバー情報推定攻撃の性能にどのように影響するか？
• RQ3 攻撃者がターゲットモデルのアーキテクチャを把握していない場合でも、メンバー情報推定攻撃は有効に保たれるか？
• RQ4 転移学習の過程で、教師モデルのメンバー情報が生徒モデルを通じて漏洩するか？

主な発見

• 教師モデルがCaltech101で事前学習されたResNet20から微調整された生徒モデルを攻撃した場合、CIFAR100データセットでメンバー情報推定攻撃のAUCが0.95に達した。
• 生徒モデルにおける凍結層の数が増加するにつれて、攻撃性能は著しく低下したが、特に5つのブロックすべてを凍結した場合に最も顕著な低下が観察された。
• シャロウモデルとターゲットモデルのアーキテクチャが異なる場合（例：VGG16のシャロウモデルがResNet20のターゲットモデルを攻撃）でも、攻撃のAUCは0.94以上を維持しており、強い転送性が示された。
• 生徒モデルのパラメータが自らのデータを用いて更新されたため、教師モデルのメンバー情報は生徒モデルを通じて漏洩しなかった。
• 高い凍結レートであっても、生徒モデルは自らの訓練データに関するメンバー情報の漏洩を避けられなかった。
• 攻撃者がターゲットモデルのアーキテクチャを一切知らない状況でも、攻撃は依然として有効（AUC > 0.9）であり、アーキテクチャの境界を越えて強固に機能することが示された。