[論文レビュー] Generating Artificial Data for Private Deep Learning

Aleksei Triastcyn, Boi Faltings|arXiv (Cornell University)|Mar 8, 2018

Privacy-Preserving Technologies in Data参考文献 36被引用数 23

ひとこと要約

本稿では、生成対抗ネットワーク（GAN）を用いて、実データの統計的性質を保持するとともに個人のプライバシーを確保する高品質な人工データセットを生成する手法を提案する。感覚的データ上でGANを訓練し、KLダイバージェンスとチェビシェフの不等式に基づく経験的プライバシー推定フレームワークを用いることで、モデル逆転攻撃に対する強力な耐性を達成した。顔検出の成功率は63.6％から1.3％に低下した一方で、下流タスクにおけるモデルの精度は高い水準を維持した。

ABSTRACT

In this paper, we propose generating artificial data that retain statistical properties of real data as the means of providing privacy with respect to the original dataset. We use generative adversarial network to draw privacy-preserving artificial data samples and derive an empirical method to assess the risk of information disclosure in a differential-privacy-like way. Our experiments show that we are able to generate artificial data of high quality and successfully train and validate machine learning models on this data while limiting potential privacy loss.

研究の動機と目的

• 機械学習における個人のプライバシーを損なわず、感覚的トレーニングデータを公開する課題に対処すること。
• 公開データを事前学習に必要としない、実用的でスケーラブルなプライベートデータ公開手法を開発すること。
• 統計的プライバシー推定フレームワークを用いて、公開された人工データセットにおける情報漏洩リスクを定量化すること。
• 実データで学習したモデルがモデル逆転攻撃に対して脆弱であるのと比較して、人工データで学習したモデルがどれほど耐性を持つのかを示すこと。
• データプール、モデル共有、データマーケットプレイスを可能にするために、プライバシーを保護するデータ公開メカニズムを提供すること。

提案手法

• 感覚的実データ上でGANを訓練し、元のデータセットの統計的性質を保持する人工データサンプルを生成する。
• WGAN-GPアーキテクチャに微分プライベートなクリティック層を適用することで、訓練の安定性を向上させるとともに、クリティック出力に対するDP保証を提供する。
• KLダイバージェンス推定とチェビシェフの不等式に基づく経験的プライバシー推定フレームワークを用いて、期待されるプライバシー損失の境界を計算する。
• モデル逆転攻撃の評価中に使用するため、画像を64次元のベクトルに圧縮するスタックドノイズ除去オートエンコーダを適用する。
• 生成された人工データ上で学生モデルを訓練し、MNIST、SVHN、CelebAの標準ベンチマークでその性能を評価する。
• 訓練済みモデルに対してモデル逆転攻撃を実施し、顔検出と顔認識を指標として用いて情報漏洩を評価する。

実験結果

リサーチクエスチョン

• RQ1 GANで生成された人工データは、プライバシーを保持しつつ、高精度な機械学習モデルのトレーニングに高い実用性を示せるか？
• RQ2 微分プライバシーに類似した方法で、公開された人工データセットにおけるプライバシーリスクを定量的に推定できるか？
• RQ3 実データと比較して、人工データで学習させることで、モデル逆転攻撃に対する脆弱性はどの程度低減されるか？
• RQ4 公開利用可能なトレーニングデータを事前学習に必要とせずに、強いプライバシー保証を達成できるか？
• RQ5 経験的プライバシー境界は、モデル逆転シナリオにおける実際の攻撃成功確率とどの程度相関するか？

主な発見

• モデル逆転攻撃における顔検出成功率は、実データで学習したモデルでは63.6％であったのを、GANで生成されたデータで学習したモデルでは1.3％に低下させた。
• 顔認識成功率は生成データでは0.3％にまで低下し、これは最先端の誤差範囲内に収まり、強力なプライバシー保護を示している。
• 提案されたプライバシー推定フレームワークは、MNIST、SVHN、CelebAデータセットにおいて、期待されるプライバシー損失の境界を一桁の値に計算できた。
• 微分プライベートなクリティック層の追加により、訓練の安定性が向上し、画像の多様性が向上し、プライバシー保証が強化された。
• 人工データで学習したモデルはMNISTおよびSVHNで高い精度を達成しており、実データで学習したモデルと同等の実用性を示した。
• 視覚的検査により、ポーズや照明が似ている場合でも、顔の特徴、肌の色、性別といった重要なプライバシーに敏感な詳細において、生成画像と実画像が明確に異なることが確認された。