[論文レビュー] Fed-TGAN: Federated Learning Framework for Synthesizing Tabular Data

Zilong Zhao, Robert Birke+2 more|arXiv (Cornell University)|Aug 18, 2021

Privacy-Preserving Technologies in Data参考文献 25被引用数 25

ひとこと要約

Fed-TGAN は、プライバシー保護エンコーディングとテーブル類似性加重集約を備えた表形式 GAN の連邦学習フレームワークを提案し、基準より高速な収束と高いデータ類似性を実現します。

ABSTRACT

Generative Adversarial Networks (GANs) are typically trained to synthesize data, from images and more recently tabular data, under the assumption of directly accessible training data. Recently, federated learning (FL) is an emerging paradigm that features decentralized learning on client's local data with a privacy-preserving capability. And, while learning GANs to synthesize images on FL systems has just been demonstrated, it is unknown if GANs for tabular data can be learned from decentralized data sources. Moreover, it remains unclear which distributed architecture suits them best. Different from image GANs, state-of-the-art tabular GANs require prior knowledge on the data distribution of each (discrete and continuous) column to agree on a common encoding -- risking privacy guarantees. In this paper, we propose Fed-TGAN, the first Federated learning framework for Tabular GANs. To effectively learn a complex tabular GAN on non-identical participants, Fed-TGAN designs two novel features: (i) a privacy-preserving multi-source feature encoding for model initialization; and (ii) table similarity aware weighting strategies to aggregate local models for countering data skew. We extensively evaluate the proposed Fed-TGAN against variants of decentralized learning architectures on four widely used datasets. Results show that Fed-TGAN accelerates training time per epoch up to 200% compared to the alternative architectures, for both IID and Non-IID data. Overall, Fed-TGAN not only stabilizes the training loss, but also achieves better similarity between generated and original data. Our code is released at https://github.com/zhao-zilong/Fed-TGAN.

研究の動機と目的

• 分散クライアント間でRAWデータを共有せず CTGAN 風の表形式 GAN の訓練を可能にする。
• プライバシー保護エンコーディングを開発し、 private data を露出せずにグローバルエンコーダを初期化する。
• 非 IID の表データ下でローカルモデルを統合するためのテーブル類似性を考慮した重み付け方式を設計する。
• 複数データセットにわたって、ベースラインよりも速い収束と生成データと実データの類似性を示す。

提案手法

• 連邦学習構造を採用し、中央集権的なファデレータと複数のクライアントを含み、各クライアントがローカルのジェネレータとディスクリミネータを訓練する。
• 生データにアクセスせずにグローバルエンコーダを構築するため、列統計（カテゴリ頻度と連続VGMパラメータ）を収集してプライバシー保護機能エンコードを実装する。
• グローバルエンコーダ LE_j および VGM_j をクライアントに配布して、統一された入力/出力構造を持つモデルを初期化する。
• クライアントごとの集約重みを、列ごとの発散（カテゴリは Jensen-Shannon、連続は Wasserstein）とデータ量から計算し、ソフトマックス正規化された重み付き集約を適用する。
• 非同期トレーニングラウンドと集中集約を PyTorch RPC を用いて実装し、GPU-CPU データ転送の制限に対処する。

実験結果

リサーチクエスチョン

• RQ1 Fed-TGAN は分散データからプライバシーを保護しつつ表形式 GAN を学習できるか？
• RQ2 プライバシー保護による初期化と表の aware な重み付けは IID および非 IID 条件下で収束速度とデータ現実性を向上させるか？
• RQ3 Fed-TGAN の結果は標準的な表データセットに対して中央集権型 CTGAN、従来の FL、MD-GAN の多ディスクリミネータとどう比較されるか？

主な発見

データセット	Avg JSD (MD/Fed/Centralized)	Avg WD (MD/Fed/Centralized)
Adult	0.072/ 0.059 /0.117	0.014/ 0.012 /0.015
Covertype	0.038/ 0.018 /0.075	0.022/ 0.021 /0.086
Credit	0.083/ 0 /0.012	0.006 / 0.006 /0.041
Intrusion	0.095/ 0.031 /0.032	0.027/ 0.02 /0.026

• Fed-TGAN はマルチディスクリミネータのベースラインと比べて1エポックあたりの訓練時間を最大で200%短縮する。
• Fed-TGAN は理想的な IID 条件下で、実データに対する類似性がベースラインより高くなる（Avg-JSD および Avg-WD が低い）。
• クライアント間でデータが不均衡な場合、Fed-TGAN は vanilla FL-TGAN より収束が速い。
• アブレーションでは、テーブル類似性重み付けを削除すると性能が低下し、その有用性を確認。
• Fed-TGAN は非 IID 分布データ下でも安定した収束と改善された類似性を維持する。