[論文レビュー] Deep Models Under the GAN: Information Leakage from Collaborative Deep Learning

Briland Hitaj, Giuseppe Ateniese+1 more|arXiv (Cornell University)|Feb 24, 2017

Privacy-Preserving Technologies in Data参考文献 67被引用数 224

ひとこと要約

本論文は、GANベースのアクティブ推論攻撃を提案し、共同（分散/フェデレーテッド）ディープラーニングにおいて、共有が秘匿化または差分プライバシーになっていても、内部者が犠牲者の機密訓練データを再構成できるようにする。

ABSTRACT

Deep Learning has recently become hugely popular in machine learning, providing significant improvements in classification accuracy in the presence of highly-structured and large databases. Researchers have also considered privacy implications of deep learning. Models are typically trained in a centralized manner with all the data being processed by the same training algorithm. If the data is a collection of users' private data, including habits, personal pictures, geographical positions, interests, and more, the centralized server will have access to sensitive information that could potentially be mishandled. To tackle this problem, collaborative deep learning models have recently been proposed where parties locally train their deep learning structures and only share a subset of the parameters in the attempt to keep their respective training sets private. Parameters can also be obfuscated via differential privacy (DP) to make information extraction even more challenging, as proposed by Shokri and Shmatikov at CCS'15. Unfortunately, we show that any privacy-preserving collaborative deep learning is susceptible to a powerful attack that we devise in this paper. In particular, we show that a distributed, federated, or decentralized deep learning approach is fundamentally broken and does not protect the training sets of honest participants. The attack we developed exploits the real-time nature of the learning process that allows the adversary to train a Generative Adversarial Network (GAN) that generates prototypical samples of the targeted training set that was meant to be private (the samples generated by the GAN are intended to come from the same distribution as the training data). Interestingly, we show that record-level DP applied to the shared parameters of the model, as suggested in previous work, is ineffective (i.e., record-level DP is not designed to address our attack).

研究の動機と目的

• 共同ディープラーニングが内部アドバーサリーに訓練データを漏らす可能性があることを示す。
• 学習過程でGANが機密訓練データに基づく典型的なサンプルを生成できることを示す。
• 共同設定においてレコードレベルの差分プライバシーがこの種の攻撃を防ぐには不十分であると主張する。
• 協調的ディープラーニングにおける差分プライバシーの適用リスクを強調し、プライバシー保護の代替として中央集権的学習を動機付ける。

提案手法

• 分散学習プロトコルにおいて協調者を偽装するアクティブな敵を開発する。
• 被害者の進化するモデルからのフィードバックを利用して、被害者の機密データに似たサンプルを生成するGANを訓練する。
• リアルタイムの学習ダイナミクスを利用して、被害者のクラス分布から典型的な訓練サンプルを再構成する。
• 差分プライバシーによって局所パラメータが混乱化されても攻撃が有効であることを示す。
• ホワイトボックスアクセス環境および勾配の一部のみが交換されるパラメータ共有の下でも攻撃が成立することを主張する。

実験結果

リサーチクエスチョン

• RQ1 GANを用いて協調的ディープラーニングにおける他の参加者の機密訓練データを内部の攻撃者が再構成できるか？
• RQ2 共有パラメータに適用された差分プライバシーは、このようなGANベースの情報漏洩を協調設定で防げるか？
• RQ3 モデル反転が弱いCNNなどのアーキテクチャに対して攻撃は有効か？
• RQ4 フェデレーテッド学習におけるセキュア集約はリスクを軽減するか、それとも内部の敵対者は学習ダイナミクスを利用して依然として悪用できるか？

主な発見

• GANベースの攻撃は元のデータにアクセスせずとも、被害者の機密データと分布上区別不能なサンプルを生成できる。
• レコードレベルで差分プライバシーによりパラメータが隠蔽されても攻撃は有効なままである。
• 攻撃者は学習プロセスに影響を与えて被害者により詳細な情報の開示を強いることができる。
• この脅威はフェデレーテッドまたは分散学習だけでなく中央集権的学習にも適用され、内部参加者が情報漏洩を引き起こし得るため、プライバシーリスクが生じる。
• GANは従来のモデル反転手法より強い情報漏洩をもたらすことがある、特にCNNにおいて。