[論文レビュー] Orchestra: Unsupervised Federated Learning via Globally Consistent Clustering

Ekdeep Singh Lubana, Chi Ian Tang+3 more|arXiv (Cornell University)|May 23, 2022

Privacy-Preserving Technologies in Data被引用数 20

ひとこと要約

Orchestraは、局所的に算出されたクラスタリングとサーバーサイドのグローバルクラスタリングを用いて、グローバルに一貫した表現を得る教師なしフェデレーテッドラーニングフレームワークを提案し、ヘテロゲネシティへのロバスト性と通信効率の向上を実現します。

ABSTRACT

Federated learning is generally used in tasks where labels are readily available (e.g., next word prediction). Relaxing this constraint requires design of unsupervised learning techniques that can support desirable properties for federated training: robustness to statistical/systems heterogeneity, scalability with number of participants, and communication efficiency. Prior work on this topic has focused on directly extending centralized self-supervised learning techniques, which are not designed to have the properties listed above. To address this situation, we propose Orchestra, a novel unsupervised federated learning technique that exploits the federation's hierarchy to orchestrate a distributed clustering task and enforce a globally consistent partitioning of clients' data into discriminable clusters. We show the algorithmic pipeline in Orchestra guarantees good generalization performance under a linear probe, allowing it to outperform alternative techniques in a broad range of conditions, including variation in heterogeneity, number of clients, participation ratio, and local epochs.

研究の動機と目的

• 統計的・システム的ヘテロゲネシティに対するロバスト性を維持しつつ、フェデレーテッドラーニングにおけるラベル付きデータの不足に対処する。
• フェデレーションの階層を活用してクライアントデータのグローバルクラスタリングを統括する。
• FLでクラスタリング可能な表現を学習するための理論的保証と実用的なパイプラインを提供する。
• 異なるFL条件下で、フェデレーテッド設定内のクラスタリングベースのSSLが、中央集権的SSLの直接的な拡張を上回ることを示す。

提案手法

• 表現は局所的に、教師なしSSL目的関数で学習される。
• クライアントはSinkhorn-Knoppクラスタリングを用いて局所セントロイドを計算し、バランスのとれたクラスタを保証する。
• 局所セントロイドはサーバへ送られ、サーバはそれらをグローバルクラスタにクラスタリングしてG個の等サイズのセントロイドを得る。
• クライアントはグローバルセントロイドを用いて拡張のクラスタ割り当てを交差エントロピー損失で揃える。
• 劣化した解を防ぎ、訓練を安定化させるために、EMAオンラインモデルと予測的SSLタスク（回転予測）を用いる。
• ハイパーパラメータは、教師なし類似度スコア Align および Unif を用いて、kNN 精度を予測するように調整される。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしで、線形プローブにおいて教師なしフェデレーテッドラーニングは良い一般化を達成できるか？
• RQ2 グローバルに一貫したクラスタリング手法は、ヘテロゲネシティへのロバスト性を向上させ、FLにおける通信コストを削減するか？
• RQ3 ラベルなしの無監督FL設定で、表現の品質を反映するようにハイパーパラメータをどのように調整できるか？
• RQ4 クラスタリング品質（低いクラスタ間混合）とフェデレーテッドSSLの一般化との関係に関する理論的保証は何か？

主な発見

• Orchestraは、非IIDクロスデバイスおよびクロスシロ設定において、線形プローブ下で中央集権SSL法のフェデレーテッド拡張をしばしば上回る。
• Orchestraはヘテロゲネシティ、参加比率、および局所エポックに対して頑健であり、クライアント数が増えるにつれてスケーラビリティが向上する。
• 中〜高精度で、ベースラインと比較して通信ラウンドの収束が速い。
• Sinkhorn-Knoppによる局所クラスタリングとグローバルクラスタリングは、性能を維持したままプライバシー寄りの（local-DP）オプションを提供する。
• ラベルなし類似度スコアに基づくハイパーパラメータ調整は、方法間でより高いkNN精度と整合する。