[論文レビュー] Federated learning with hierarchical clustering of local updates to improve training on non-IID data

Christopher Briggs, Fan Zhong+1 more|arXiv (Cornell University)|Apr 24, 2020

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本稿では、非i.i.d.データにおける学習を向上させるために、クライアントの局所的モデル更新の類似度に基づいてクラスタリングを行う階層的クラスタリングを組み込んだフェデレーテッドラーニング（FL+HC）を提案する。FL+HCは、通信ラウンドを5倍以上削減し、非i.i.d.設定下で特にマンハッタン距離と完全連結法を用いる場合、目標精度に到達するクライアント数を最大2倍に増加させる。

ABSTRACT

Federated learning (FL) is a well established method for performing machine learning tasks over massively distributed data. However in settings where data is distributed in a non-iid (not independent and identically distributed) fashion -- as is typical in real world situations -- the joint model produced by FL suffers in terms of test set accuracy and/or communication costs compared to training on iid data. We show that learning a single joint model is often not optimal in the presence of certain types of non-iid data. In this work we present a modification to FL by introducing a hierarchical clustering step (FL+HC) to separate clusters of clients by the similarity of their local updates to the global joint model. Once separated, the clusters are trained independently and in parallel on specialised models. We present a robust empirical analysis of the hyperparameters for FL+HC for several iid and non-iid settings. We show how FL+HC allows model training to converge in fewer communication rounds (significantly so under some non-iid settings) compared to FL without clustering. Additionally, FL+HC allows for a greater percentage of clients to reach a target accuracy compared to standard FL. Finally we make suggestions for good default hyperparameters to promote superior performing specialised models without modifying the the underlying federated learning communication protocol.

研究の動機と目的

• データが非i.i.d.である場合に生じる性能劣化、特にクライアント間での統計的非同一性に起因する問題を解決すること。
• コアとなるFL通信プロトコルを変更せずに、非i.i.d.設定下でのモデル精度と収束速度を向上させること。
• データ分布が未知である状況でも安定したデフォルト設定が得られるよう、階層的クラスタリングの有効なハイパーパrameterを同定すること。
• 異なるクラスタリング距離関数と連結法が、さまざまな非i.i.d.データシナリオにおけるモデル性能に与える影響を評価すること。

提案手法

• 固定回数のFL通信ラウンド後に、クライアントの局所的モデル重み更新の類似度に基づいてクライアントをクラスタリングする階層的クラスタリング手順を導入する。
• L2、L1、マンハッタン距離、およびコサイン距離を用いて、重み空間におけるクライアント更新の類似度を測定する。
• 完全連結、平均連結、単一連結、およびウォード連結法を用いて、類似した更新パターンを持つクライアントのクラスタを形成する。
• 各クラスタに対して独立に特化したモデルを学習させることで、単一のグローバルモデルよりも性能を向上させる。
• グローバルモデルの集約にはフェデレーテッド・アベレージング（FedAvg）を用い、クラスタリングを学習中に定期的に行う。
• 複数のデータセットおよび非i.i.i.d.設定下で、テスト精度と目標精度閾値に到達するクライアント数を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 階層的クラスタリングを用いたクライアント更新の処理は、非i.i.d.フェデレーテッドラーニング設定下で収束速度とテスト精度にどのように影響を与えるか？
• RQ2 階層的クラスタリングにおけるどの距離関数と連結法が、さまざまな種類の非i.i.d.データに対して最良のパフォーマンスを発揮するか？
• RQ3 標準的なFLと比較して、FL+HCは通信ラウンドを削減しながらも、モデル精度を維持または向上させることができるか？
• RQ4 データの非i.i.d.分布の性質が未知である場合に、FL+HCの最適なデフォルトハイパーパramータは何か？

主な発見

• マンハッタン距離と完全連結法を用いる場合、特定の非i.i.d.設定下で、収束に必要な通信ラウンド数を5倍以上削減できる。
• ラベル入れ替え型非i.i.d.設定では、コサイン距離が他の距離関数よりもわずかに優れたパフォーマンスを示す。
• マンハッタン距離と完全連結法を組み合わせることで、50ラウンド目までに標準的なFLと比較して1.1倍多くのクライアントが目標精度に到達する。
• 非i.i.i.d.設定下で、FL+HCは目標精度に到達するクライアント数を最大2倍に増加させつつ、最終的なテスト精度を維持または向上させる。
• ユーザーベースのデータ分割を用いたFEMNISTの非i.i.d.設定では、FL+HCは標準的なFLに比べてほとんど利点を示さないため、複雑な条件付き分布シフト下では限界が見られる。
• 非i.i.d.データの性質が未知である場合の推奨デフォルト設定は、マンハッタン距離と完全連結法であり、クライアントの収束性と頑健性の観点から、他の組み合わせを常に上回る。