[論文レビュー] FedSyn: Synthetic Data Generation using Federated Learning

Monik Raj Behera, Sudhir K. Upadhyay+4 more|arXiv (Cornell University)|Mar 11, 2022

Privacy-Preserving Technologies in Data被引用数 14

ひとこと要約

FedSynは、生データを共有せずに生成対抗ネットワーク（GANs）を用いて高品質な合成データを生成するプライバシー保護型フェデレーテッドラーニングフレームワークを提案する。微分プライバシーを用いて局所的に訓練されたモデルのフェデレーテッドアグリゲーションを通じてグローバルなGAN生成器を訓練することで、組織間での協働的合成データ生成を可能にするとともに、データプライバシーを保持し、データバイアスを低減する。

ABSTRACT

As Deep Learning algorithms continue to evolve and become more sophisticated, they require massive datasets for model training and efficacy of models. Some of those data requirements can be met with the help of existing datasets within the organizations. Current Machine Learning practices can be leveraged to generate synthetic data from an existing dataset. Further, it is well established that diversity in generated synthetic data relies on (and is perhaps limited by) statistical properties of available dataset within a single organization or entity. The more diverse an existing dataset is, the more expressive and generic synthetic data can be. However, given the scarcity of underlying data, it is challenging to collate big data in one organization. The diverse, non-overlapping dataset across distinct organizations provides an opportunity for them to contribute their limited distinct data to a larger pool that can be leveraged to further synthesize. Unfortunately, this raises data privacy concerns that some institutions may not be comfortable with. This paper proposes a novel approach to generate synthetic data - FedSyn. FedSyn is a collaborative, privacy preserving approach to generate synthetic data among multiple participants in a federated and collaborative network. FedSyn creates a synthetic data generation model, which can generate synthetic data consisting of statistical distribution of almost all the participants in the network. FedSyn does not require access to the data of an individual participant, hence protecting the privacy of participant's data. The proposed technique in this paper leverages federated machine learning and generative adversarial network (GAN) as neural network architecture for synthetic data generation. The proposed method can be extended to many machine learning problem classes in finance, health, governance, technology and many more.

研究の動機と目的

• 複数の組織間で生データを共有せずに協働的な合成データ生成を可能にすることで、機械学習におけるデータ不足を解消すること。
• フェデレーテッドラーニングを用いて多様で非IID（非同一分布）のデータソースからのモデルをアグリゲートすることで、データバイアスを軽減すること。
• 個々の参加者のデータへの直接アクセスを防止し、微分プライバシーを用いたモデルパラメータの共有により、データプライバシーを確保すること。
• 参加者間で分散され、多様なデータセットを活用することで、合成データの一般化性能と統計的表現力の向上を図ること。
• 金融、医療、ガバナンスなど多様な業界での応用を可能にするために、安全でスケーラブルな合成データ生成フレームワークを提供すること。

提案手法

• フェデレーテッドラーニングを用いて、生データを共有せずに複数のクライアント間でグローバルなGAN生成器を訓練する。この際、モデルパラメータのやり取りのみが行われる。
• 各クライアントは自らのプライベートデータ上で局所的なGAN生成器を訓練するが、中央サーバーはFedAvgや類似のアグリゲーションアルゴリズムを用いてモデル更新を統合する。
• 微分プライバシーを適用する際、モデルパラメータにラプラスノイズを加えることで、個々のデータプライバシーを保護する。
• 生成器と識別器ネットワークは敵対的アプローチで訓練され、生成器は本物のデータと区別がつかない合成サンプルを学習する。
• 本フレームワークは、クライアント間で非IIDなデータ分布を扱えるように設計されており、データの非同一性に対する耐性を高めている。
• 収束後、グローバルに合成データが生成され、参加者全員の統計的分布が反映される。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングとGANベースの合成データ生成を効果的に組み合わせることで、データプライバシーを保持しつつデータ多様性を向上させることができるか？
• RQ2 モデルパラメータに微分プライバシーを適用することで、生成された合成データの品質と実用性にどのような影響が生じるか？
• RQ3 複数の組織で非IIDかつ多様なデータを扱う状況下で、FedSynはどの程度データバイアスを軽減できるか？
• RQ4 参加者のいかなる生データにもアクセスせずに、FedSynは高精細な合成データを生成できるか？
• RQ5 微分プライバシーにおけるノイズのレベルが、プライバシーと合成データ品質のトレードオフにどのように影響するか？

主な発見

• FedSynは、参加クライアントの生データにアクセスせずに、全参加者の統計的分布を捉えた合成データを効果的に生成した。
• 微分プライバシーのノイズレベルが上昇するにつれて、合成データの品質が低下する傾向にあり、プライバシーと実用性のトレードオフが明確に示された。
• 非IIDデータを用いたフェデレーテッドラーニングにより、グローバルな生成器は、個々のクライアントがデータに偏りを持つ場合でも、すべてのラベルを代表するサンプルを生成できた。
• 本フレームワークは、プライバシー保護型で協働的な環境下でも合成データ生成が可能であることを実証し、中央集権的データ収集への依存を低減した。
• データが機関間で分散されている状況において、フェデレーテッドトレーニングによるアグリゲートモデルは、中央集権的に訓練されたモデルを上回り、多様なデータパターンを捉える能力に優れた。
• モデルパラメータレベルでの微分プライバシーの統合により、データ共有を要件とせず、強固なプライバシー保証が達成された。