[論文レビュー] Clustered Sampling: Low-Variance and Improved Representativity for Clients Selection in Federated Learning

Yann Fraboni, Yu. Vertogradova+2 more|arXiv (Cornell University)|May 12, 2021

Privacy-Preserving Technologies in Data被引用数 47

ひとこと要約

連合学習におけるクラスター化サンプリングを導入し、重みの分散を低減し、より良い代表性を確保した偏りのない集約を実現し、収束を改善。

ABSTRACT

This work addresses the problem of optimizing communications between server and clients in federated learning (FL). Current sampling approaches in FL are either biased, or non optimal in terms of server-clients communications and training stability. To overcome this issue, we introduce extit{clustered sampling} for clients selection. We prove that clustered sampling leads to better clients representatitivity and to reduced variance of the clients stochastic aggregation weights in FL. Compatibly with our theory, we provide two different clustering approaches enabling clients aggregation based on 1) sample size, and 2) models similarity. Through a series of experiments in non-iid and unbalanced scenarios, we demonstrate that model aggregation through clustered sampling consistently leads to better training convergence and variability when compared to standard sampling approaches. Our approach does not require any additional operation on the clients side, and can be seamlessly integrated in standard FL implementations. Finally, clustered sampling is compatible with existing methods and technologies for privacy enhancement, and for communication reduction through model compression.

研究の動機と目的

• 連合学習におけるサーバー–クライアント間通信の最適化の必要性を動機づけ、既存のクライアントサンプリングにおけるバイアスと高い分散に対処する。
• MDサンプリングの unbiased, low-variance な代替手段としてクラスター化サンプリングを導入する。
• クラスター化サンプリングとMDサンプリングをベースラインとして、収束保証を理論的に確立する。
• イテレーションを通じた代表性の向上と集約重みの分散低減を実現する、実用的なクラスターリングベースの実装を示す。

提案手法

• clustered samplingを、m個の独立な分布 W_k(t) を用いて m クライアントを選択するMDサンプリングの一般化として定義する。
• m分布にまたがる r_{k,i}^t の確率を満たすことが、グローバルな集約の偏りのない性質を生むことを証明する（sum r_{k,i}^t = m p_i）。
• clustered samplingがMDサンプリングと同じ収束界を保持することを証明する（O(1/sqrt(mNT)) + O(mN/T)）。
• 具体的な2つのクラスターリングアプローチを提供する： (i) クライアントサンプルサイズに基づくもの（Algorithm 1）、および (ii) モデル/更新の類似性に基づくもの（Algorithm 2）。
• 理論を、追加のクライアント側操作なしで、均一な無偏性と実践的実装の両方に拡張する。
• プライバシー保護および通信削減技術との適合性について議論する。）

実験結果

リサーチクエスチョン

• RQ1 クラスター化サンプリングは、MDサンプリングと同様に偏りのない集約を提供しつつ、クライアント集約重みの分散を低減できるか？
• RQ2 FLにおける非同質（non-iid、アンバランス）なクライアントデータの代表性に、クラスタリングはどのような影響を与えるか？
• RQ3 サンプルサイズと類似性に基づく実用的なクラスターリングベースのサンプリング方式は、MDサンプリングと比較して収束速度と安定性を改善できるか？
• RQ4 既存手法と比較した場合のクラスターリングの理論的収束保証は何か？
• RQ5 提案されたアルゴリズムは、非-iid分割を用いた標準ベンチマーク（MNIST, CIFAR-10）でどのように性能を示すか？

主な発見

• 適切な条件の下で、クラスターリングはMDサンプリングと同じ収束境界を達成し、したがって FL 最適化の理論的保証を保持する。
• クラスターリングはMDサンプリングと比較してクライアントの集約重みの分散を低減し、各クライアントの代表性を向上させる。
• 反復を通じて全クライアントをサンプリングする確率を高めることで、異質データの表現性が向上する。
• サンプルサイズに基づくアルゴリズム（Algorithm 1）と類似性に基づくアルゴリズム（Algorithm 2）は実用的であり、後者は類似クライアントの表現を促進する。
• MNISTとCIFAR-10の実験は、MDサンプリングと比べて訓練の収束改善とばらつきの低減を示し、特にデータの異質性が高い場合に顕著である。