[論文レビュー] DPD-fVAE: Synthetic Data Generation Using Federated Variational Autoencoders With Differentially-Private Decoder

Bjarne Pfitzner, Bert Arnrich|arXiv (Cornell University)|Nov 21, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

DPD-fVAEは、符号化器にのみ差分プライバシーを適用するフェデレーテッド変分オートエンコーダーを提案し、ノイズの要件を軽減し、合成データの品質を向上させた。MNIST、Fashion-MNIST、CelebAで競争力あるFIDスコアと分類器の精度を達成した。フェデレーテッドラーニングと差分プライバシーにより、クライアントのデータプライバシーを保護した。

ABSTRACT

Federated learning (FL) is getting increased attention for processing sensitive, distributed datasets common to domains such as healthcare. Instead of directly training classification models on these datasets, recent works have considered training data generators capable of synthesising a new dataset which is not protected by any privacy restrictions. Thus, the synthetic data can be made available to anyone, which enables further evaluation of machine learning architectures and research questions off-site. As an additional layer of privacy-preservation, differential privacy can be introduced into the training process. We propose DPD-fVAE, a federated Variational Autoencoder with Differentially-Private Decoder, to synthesise a new, labelled dataset for subsequent machine learning tasks. By synchronising only the decoder component with FL, we can reduce the privacy cost per epoch and thus enable better data generators. In our evaluation on MNIST, Fashion-MNIST and CelebA, we show the benefits of DPD-fVAE and report competitive performance to related work in terms of Fréchet Inception Distance and accuracy of classifiers trained on the synthesised dataset.

研究の動機と目的

• 医療分野など、プライバシーが重要な分散型データセットから高品質な合成データを生成する課題に対処すること。
• 変分オートエンコーダーのデコーダー部分にのみ差分プライバシーを適用することで、フェデレーテッドラーニングにおける差分プライバシーのプライバシーコストを低減すること。
• 下流の機械学習タスクに有効であると同時に、プライバシーを守るフェデレーテッド環境でデータジェネレータを訓練可能にすること。
• 中央型差分プライバシーと局所型差分プライバシーの両方の設定下で、プライバシー予算、モデル性能、データ品質のトレードオフを評価すること。

提案手法

• 符号化器はローカルに保たれ、プライベートなまま維持され、デコーダーのみが共有され、フェデレーテッド平均化によって更新されるフェデレーテッドVAEアーキテクチャを採用する。
• L2ノルムクリッピングとノイズ注入を用いて、デコーダーの勾配にのみ差分プライバシーを適用し、クライアントごとのプライバシーコストを最小限に抑える。
• クラスラベルを組み込んだ条件付きVAEを採用し、クラス固有の合成画像を生成する。
• 中央差分プライバシー（CDP）と局所差分プライバシー（LDP）の2つのプライバシー制度を評価し、比較のためにハイパーパrameter（ε=10, δ=10−5）を用いる。
• 訓練プロセスには、再パrameter化トリックと潜在空間におけるKLダイバージェンス正則化を含む、標準的なVAEの目的関数を用いる。
• モデル性能は、生成データに対するFréchet Inception Distance（FID）と下流分類器の精度を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドVAEのデコーダー部分にのみ差分プライバシーを適用することで、ノイズの負担を軽減しつつ、高品質な合成データ生成を維持できるか？
• RQ2 FIDと分類器精度の観点から、DPD-fVAEは非プライベートおよび中央型プライベートなベースラインと比較して、どのように性能を発揮するか？
• RQ3 局所差分プライバシー（LDP）は、フェデレーテッド環境下でのモデル収束と合成データ品質にどのような影響を与えるか？
• RQ4 DPD-fVAEは、生のクライアントデータを露呈させることなく、高品質でクラスバランスの取れた合成データを生成でき、下流のモデル評価を支援できるか？

主な発見

• MNISTでは(10,10−5)-DP下でFIDが56.9、Fashion-MNISTでは84.4を達成し、同条件下の先行手法を上回った。
• MNISTでは、DPD-fVAEが生成したデータで訓練されたCNN分類器が91.3%の精度を達成し、非フェデレーテッド手法の最先端レベルと同等であった。
• 厳格な局所差分プライバシー（LDP）下でも、高品質な画像を生成できたが、標準的なフェデレーテッドVAEは同条件で収束に失敗した。
• CelebAの合成データはFIDが261.7、CNN精度が69.0%を達成し、クライアントデータの可用性が低い状況下でも実現可能性を示した。
• CDPに基づくDPD-fVAEは、MNISTでFIDが76.4、分類器精度が88.1%を達成し、中央型プライバシー保証下でも優れたパフォーマンスを示した。
• デコーダーにのみ差分プライバシーを限定することで、同じプライバシー予算下でも必要なノイズを著しく削減でき、モデル性能の向上が可能になった。