[論文レビュー] Federated clustering with GAN-based data synthesis

Jie Yan, Jing Liu+2 more|arXiv (Cornell University)|Oct 29, 2022

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿では、プライベートデータを共有せずに、有効なグローバル類似性学習を可能にする、クライアントローカル GAN を用いて合成グローバルデータを生成するフェデレーテッドクラスタリングフレームワーク SDA-FC を提案する。K-means や FCM を合成グローバルデータセット上で学習することで、非IIDデータやデバイス障害に対しても優れたクラスタリング性能と耐性を発揮し、既存のベースラインを上回る精度と耐性を達成する。

ABSTRACT

Federated clustering (FC) is an extension of centralized clustering in federated settings. The key here is how to construct a global similarity measure without sharing private data, since the local similarity may be insufficient to group local data correctly and the similarity of samples across clients cannot be directly measured due to privacy constraints. Obviously, the most straightforward way to analyze FC is to employ the methods extended from centralized ones, such as K-means (KM) and fuzzy c-means (FCM). However, they are vulnerable to non independent-and-identically-distributed (non-IID) data among clients. To handle this, we propose a new federated clustering framework, named synthetic data aided federated clustering (SDA-FC). It trains generative adversarial network locally in each client and uploads the generated synthetic data to the server, where KM or FCM is performed on the synthetic data. The synthetic data can make the model immune to the non-IID problem and enable us to capture the global similarity characteristics more effectively without sharing private data. Comprehensive experiments reveals the advantages of SDA-FC, including superior performance in addressing the non-IID problem and the device failures.

研究の動機と目的

• プライベートクライアントデータを共有せずにフェデレーテッドクラスタリングにおけるグローバル類似性学習に挑むこと。
• クライアント間で独立同分布でない（non-IID）データ分布が存在する状況下でも、クラスタリングの耐性と性能を向上させること。
• フェデレーテッドクラスタリングシステムにおけるデバイス障害に対する耐性を高めること。
• 中央集権的クラスタリングの代替手段としてプライバシーを保護しつつも高いクラスタリング品質を維持すること。
• カッパ係数（Kappa）を、クラスタリング評価のための NMI よりも信頼性が高い代替指標として評価・提唱すること。

提案手法

• 各クライアントは、自身のプライベートデータ上でローカル GAN をトレーニングし、合成サンプルを生成する。
• サーバーは全クライアントからの合成データを集約し、グローバル合成データセットを構築する。
• グローバル合成データセット上で K-means やファジィ c-メンズ（FCM）を適用し、グローバルクラスタ重心を計算する。
• これらのグローバル重心をクライアントに送信し、距離に基づいてローカルでクラスタ割り当てを実行する。
• フレームワークは1ラウンド通信と非同期実行をサポートしており、オーバーヘッドを最小限に抑える。
• 複数のデータセット（MNIST、Fashion-MNIST、CIFAR-10、STL-10）を用い、非IID度合いやデバイス障害率を変化させた状況で評価を行う。

実験結果

リサーチクエスチョン

• RQ1 プライベートデータを共有せずに、GAN を用いた合成データがフェデレーテッドクラスタリングにおけるグローバルデータ分布を効果的に近似できるか？
• RQ2 非IIDデータ条件下で、提案された SDA-FC フレームワークは、最先端のフェデレーテッドクラスタリング手法と比較してどの程度の性能を示すか？
• RQ3 フェデレーテッドシステムにおけるデバイス障害に対して、SDA-FC のクラスタリング性能はどの程度耐性を示すか？
• RQ4 非IID度合いが高いほど、クラスタリング性能がデバイス切断に対してどれほど感受性を示すか？
• RQ5 カッパ係数（Kappa）は、クラスタリング結果の評価において NMI よりも信頼性が高いとされるか？

主な発見

• SDA-FC は、すべてのデータセットで k-FED や FFCM などの既存手法を上回るクラスタリング性能を発揮し、特に非IID度合いが高い状況下で顕著な優位性を示す。
• t-SNE 視覚化と分布の重なりから、SDA-FC が生成するグローバル合成データセットは、実際のグローバルデータセットに非常に近い分布を再現していることが確認された。
• SDA-FC はデバイス障害に対して優れた耐性を示し、ベースライン手法と比較して性能低下が著しく小さい。
• 非IID度合いが高い（p 値が高い）状況では、クラスタリング性能のデバイス切断に対する感受性が高くなることが示され、データの異質性が高くなるとデータの代替可能性が低下することが示唆された。
• NMI の値は一部の状況下で誤解を招く可能性があるため、カッパ係数（Kappa）がクラスタリング結果の評価において NMI よりも信頼性が高いと判明した。
• 通信オーバーヘッドを最小限に抑え、1ラウンドの集約と非同期実行をサポートすることで、高い性能を達成した。