[論文レビュー] Federated Self-supervised Learning for Heterogeneous Clients

Disha Makhija, Nhat Ho+1 more|arXiv (Cornell University)|May 25, 2022

Privacy-Preserving Technologies in Data被引用数 11

ひとこと要約

本稿では、計算リソースやデータリソースが異なる多様なクライアントがラベルなしデータを用いて協調的に表現を学習できる、新しいフェデレーテッド自己教師学習フレームワークHetero-SSFLを提案する。低次元埋め込みを近接項とカーネルベースの距離計測を用いて整合化することで、IIDおよび非IID設定の両方で最先端の性能を達成し、非凸目的関数に対しても収束保証を有する。

ABSTRACT

Federated Learning has become an important learning paradigm due to its privacy and computational benefits. As the field advances, two key challenges that still remain to be addressed are: (1) system heterogeneity - variability in the compute and/or data resources present on each client, and (2) lack of labeled data in certain federated settings. Several recent developments have tried to overcome these challenges independently. In this work, we propose a unified and systematic framework, \emph{Heterogeneous Self-supervised Federated Learning} (Hetero-SSFL) for enabling self-supervised learning with federation on heterogeneous clients. The proposed framework allows collaborative representation learning across all the clients without imposing architectural constraints or requiring presence of labeled data. The key idea in Hetero-SSFL is to let each client train its unique self-supervised model and enable the joint learning across clients by aligning the lower dimensional representations on a common dataset. The entire training procedure could be viewed as self and peer-supervised as both the local training and the alignment procedures do not require presence of any labeled data. As in conventional self-supervised learning, the obtained client models are task independent and can be used for varied end-tasks. We provide a convergence guarantee of the proposed framework for non-convex objectives in heterogeneous settings and also empirically demonstrate that our proposed approach outperforms the state of the art methods by a significant margin.

研究の動機と目的

• フェデレーテッド学習におけるシステムの非均質性とラベルなしデータの欠如という二重の課題に取り組む。
• 異なるモデルアーキテクチャとデータリソースを持つクライアント間で協調的表現学習を可能にする。
• ラベルなしデータを必要とせず、アーキテクチャに依存しないフレームワークを構築する。
• 非凸目的関数に対して、非均質なフェデレーテッド環境下での収束保証を提供する。
• 多様な実世界設定において、最先端の手法を上回る優れた性能を示す。

提案手法

• 各クライアントは、ローカルデータ上で独自の自己教師学習モデルを訓練し、対照学習目的関数を用いる。
• 各クライアントの損失関数に近接項を追加し、クライアント間での低次元埋め込みの整合化を図る。
• サーバーは、クライアント間埋め込み整合化を促進するためのリファレンスアンカー・データセット（RAD）を維持する。
• 埋め込み間の類似度を計算するためにカーネルベースの距離計測を用い、表現空間における柔軟性を実現する。
• すべての段階でラベルに依存せず、完全に自己教師学習の形態を取る。
• クライアントは、ローカル学習とサーバーが提供するRADを介したグローバル整合化を繰り返し行い、モデルを更新する。

実験結果

リサーチクエスチョン

• RQ1 データおよび計算リソースが著しく異なるクライアントが存在する環境において、フェデレーテッド自己教師学習を効果的に適用できるか？
• RQ2 ラベルなしデータを用いて、異なるモデルアーキテクチャを持つクライアントが有用な表現を協調的に学習できるか？
• RQ3 計算能力やデータ分布が異なるクライアント間で、どのように効果的な知識移転を実現できるか？
• RQ4 統一されたフレームワークが、非均質なフェデレーテッド環境下で非凸目的関数に対して収束を達成できるか？
• RQ5 提案手法は、表現品質およびデータ非均質性に対するロバストネスの観点で、最先端のベースラインと比較してどのように優れているか？

主な発見

• CIFAR-10において非IID設定下で90.29%の精度を達成し、FedEMA（81.2%）およびFedU（79.6%）を大きく上回った。
• CIFAR-100では非IID設定下で67.7%の精度を達成し、FedEMA（61.8%）およびFedU（58.9%）を上回った。
• IID設定下ではCIFAR-10で88.5%の精度を達成し、FedEMA（85.9%）およびFedU（81.6%）を上回った。
• Tiny-Imagenetでは61.5%の精度を達成し、FedEMA（58.2%）およびFedU（58.23%）を上回った。
• FedAvgベースのベースラインとは異なり、ローカルエポック数の増加に対しても安定した性能を維持した。
• 協調学習により、すべてのクライアントアーキテクチャで精度が向上し、ResNet-34クライアントではローカル学習時の77.8%からHetero-SSFLでの93.7%に向上した。