[論文レビュー] Towards Federated Clustering: A Federated Fuzzy $c$-Means Algorithm (FFCM)

Morris Stallmann, Anna Wilbik|arXiv (Cornell University)|Jan 18, 2022

Human Mobility and Location-Based Analysis被引用数 19

ひとこと要約

本稿では、データのプライバシーを保ちながら分散クライアント間でデータをクラスタリングするためのフェデレーテッドファジィc-メンズ（FFCM）アルゴリズムを提案する。2つの集約手法—フェデレーテッド平均化とk-means平均化—を導入し、非i.i.d.データ条件下でも標準的な平均化よりもk-means平均化が正確なグローバルクラスタ中心を特定する点で優れていることを示しているが、計算コストが高くなる。

ABSTRACT

Federated Learning (FL) is a setting where multiple parties with distributed data collaborate in training a joint Machine Learning (ML) model while keeping all data local at the parties. Federated clustering is an area of research within FL that is concerned with grouping together data that is globally similar while keeping all data local. We describe how this area of research can be of interest in itself, or how it helps addressing issues like non-independently-identically-distributed (i.i.d.) data in supervised FL frameworks. The focus of this work, however, is an extension of the federated fuzzy $c$-means algorithm to the FL setting (FFCM) as a contribution towards federated clustering. We propose two methods to calculate global cluster centers and evaluate their behaviour through challenging numerical experiments. We observe that one of the methods is able to identify good global clusters even in challenging scenarios, but also acknowledge that many challenges remain open.

研究の動機と目的

• 分散クライアント間でグローバルに類似したデータをクラスタリングする課題に、データのプライバシーを維持したまま対処すること。
• ファジィc-メンズクラスタリングアルゴリズムをフェデレーテッドラーニング（FL）設定に拡張し、中央集権的なデータ集約なしで教師なし学習を可能にすること。
• フェデレーテッド環境におけるグローバルクラスタ中心を計算するための2つの集約戦略—フェデレーテッド平均化とk-means平均化—を評価・比較すること。
• 変動する次元数とクラスタの重なりを有する合成非i.i.d.データセット上で、提案されたFFCMフレームワークの性能を評価すること。
• クラスタ数の推定や初期化といった、フェデレーテッドクラスタリング分野における未解決の主な課題を特定し、この分野におけるさらなる研究を促すこと。

提案手法

• FFCMプロトコルは、標準的なFLパイプラインに従う：クライアント選択、モデルブロードキャスト、ローカル計算、集約、モデル更新。
• 各クライアントは、自身のプライベートデータに対してローカルなファジィc-メンズクラスタリングを実行し、ローカルクラスタ中心と所属度を生成する。
• 2つの集約手法を提案する：(1) 標準的なフェデレーテッド平均化（avg₁）と (2) k-means平均化（avg₂）、ここでグローバル中心はローカル中心にk-meansを適用して算出される。
• k-means平均化手法は、ローカルクラスタ中心をデータポイントとして扱い、再クラスタリングすることでより頑健なグローバル中心を導出する。
• 収束するまでアルゴリズムを繰り返し適用し、各ラウンドでグローバルモデルの更新をクライアント間で共有する。
• 性能は、次元数と標準偏差が変化する合成G2ベンチマークデータセット上で、知識ギャップと外側の二乗誤差（SSE）の指標を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 中央集権的なデータ集約なしで、フェデレーテッドファジィc-メンズアルゴリズムがグローバルクラスタ中心を効果的に特定できるか？
• RQ2 フェデレーテッド平均化とk-means平均化という異なる集約戦略は、非i.i.d.データ設定下でのグローバルクラスタリングの正確性にどのように影響するか？
• RQ3 データ次元数とクラスタの重なりが増加するに従い、FFCMの性能がどの程度低下するか？
• RQ4 非フェデレーテッドファジィc-メンズと比較して、フェデレーテッドFFCMはクラスタ中心の回復性と知識ギャップの観点でどのように異なるか？
• RQ5 クラスタ数の推定や初期化といった、フェデレーテッドクラスタリング分野における主な未解決課題は何か、かつそれらはどの程度未解決のままであるか？

主な発見

• k-means平均化手法（avg₂）は、特にクラスタの重なりが高く次元数が多い状況下でも、標準的なフェデレーテッド平均化（avg₁）よりも正確なグローバルクラスタ中心を特定する点で一貫して優れている。
• avg₂の75百分位数における知識ギャップは30.38であり、avg₁の30.33と比較して、真のクラスタ構造を検出する点で同等またはわずかに優れた性能を示している。
• フェデレーテッドおよび非フェデレーテッド両方のファジィc-メンズが、すべてのテストセットで類似したクラスタ中心の収束を達成しており、フェデレーテッドアプローチの有効性が確認された。
• 標準偏差が増加（クラスタの重なりが高くなる）と次元数が増加するに従い、知識ギャップの上昇とSSEに基づく分離度の低下により、性能の劣化が観察された。
• 最大知識ギャップは、非フェデレーテッドで99.80、avg₁で99.24、avg₂で95.55であり、avg₂が極端な状況下での誤差を低減していることが示された。
• 強力な実験的結果が得られたが、本手法はクラスタ数が事前に分かっているものとしており、ファジィネスパラメータmの体系的評価は行われなかった。