[論文レビュー] Exploiting Shared Representations for Personalized Federated Learning

Liam Collins, Hamed Hassani+2 more|arXiv (Cornell University)|Feb 14, 2021

Domain Adaptation and Few-Shot Learning参考文献 48被引用数 69

ひとこと要約

本論文は FedRep を提案する。FedRep はクライアント間で共有される全体的に低次元の表現を学習しつつ、各クライアントが個別のローカルヘッドを持てるようにするフェデレーテッド学習フレームワークであり、データのヘテロジェニティ下で理論的・経験的な性能利得をもたらす。

ABSTRACT

Deep neural networks have shown the ability to extract universal feature representations from data such as images and text that have been useful for a variety of learning tasks. However, the fruits of representation learning have yet to be fully-realized in federated settings. Although data in federated settings is often non-i.i.d. across clients, the success of centralized deep learning suggests that data often shares a global feature representation, while the statistical heterogeneity across clients or tasks is concentrated in the labels. Based on this intuition, we propose a novel federated learning framework and algorithm for learning a shared data representation across clients and unique local heads for each client. Our algorithm harnesses the distributed computational power across clients to perform many local-updates with respect to the low-dimensional local parameters for every update of the representation. We prove that this method obtains linear convergence to the ground-truth representation with near-optimal sample complexity in a linear setting, demonstrating that it can efficiently reduce the problem dimension for each client. This result is of interest beyond federated learning to a broad class of problems in which we aim to learn a shared low-dimensional representation among data distributions, for example in meta-learning and multi-task learning. Further, extensive experimental results show the empirical improvement of our method over alternative personalized federated learning approaches in federated environments with heterogeneous data.

研究の動機と目的

• クライアントデータが異種でラベルがクライアントごとに異なる場合に、パーソナライズされた連合学習を動機づける。
• 標準的な FL より性能を向上させるため、共有表現とクライアント固有のヘッドを学習するフレームワークを提案する。
• 線形設定において線形収束とほぼ最適なサンプル複雑性を示す理論的保証を提供する。
• データのヘテロゲネシティの下で、合成データおよび実データセットに対してベースラインより経験的改善を示す。

提案手法

• グローバルな低次元表現 φ とクライアント固有のヘッド h_i を定義し、各クライアントモデルを q_i = h_i ∘ φ とする。
• 一部のクライアントがヘッドの複数回の局所更新を行い、その後表現の更新を行い、サーバー側で φ を集約する FedRep アルゴリズムを開発する。
• f_i(w_i, B) = 0.5 E[(y_i - w_i^T B^T x_i)^2] のような線形の二層ネットワーク設定を分析し、交互最適化と降下の収束が真の表現へ向かうことを示す。
• 適切な仮定の下、表現学習で ε 精度を達成するにはクライアントごとに O((d/n + log n) log(1/ε)) サンプルが必要であることを示す。
• 線形設定で連合学習は各クライアントのサンプル複雑性を Θ(d) から Θ(d/n + log n) に低減し、新規クライアントへの一般化を Θ(k) サンプルで可能にすることを示す。

実験結果

リサーチクエスチョン

• RQ1 局所的なラベルがクライアントごとに異なる場合、異種のクライアント間で学習された共有の低次元表現はパーソナライズを改善できるか？
• RQ2 フェデレーテッド設定でクライアント固有のヘッドを持つグローバルな表現を学習する際の収束とサンプル複雑性の保証は何か？
• RQ3 実データと合成データ上で、データのヘテロゲニティ下における FedRep の経験的性能は、標準的なフェデレーテッド学習のベースラインとどう比較されるか？
• RQ4 学習された表現は新規クライアントに一般化し、下流のトレーニング要件を減らすか？

主な発見

• FedRep は線形二層設定で真の表現へ指数関数的に速く収束する。
• 提案手法の下で、各クライアントのサンプル複雑性は O((d/n + log n) log(1/ε)) にスケールする。
• 単一のグローバルモデルを学習する場合と比較して、ヘテロゲニアス環境で FedRep はほぼ最適なサンプル複雑性の改善を達成する。
• 新規クライアントの場合、表現はすでに利用可能であるため、次元 k の低次元ヘッドだけを学習すればよく、Θ(k) サンプルとなる。
• CIFAR10、CIFAR100、FEMNIST、Sent140 における実験は、ヘテロゲニアスなフェデレーテッド設定でベースラインより改善を示した。
• このフレームワークは、より多くの局所更新と未見のクライアントへの効果的な一般化の利点を強調する。