[論文レビュー] Personalized Federated Learning using Hypernetworks

Aviv Shamsian, Aviv Navon+2 more|arXiv (Cornell University)|Mar 8, 2021

Privacy-Preserving Technologies in Data参考文献 48被引用数 32

ひとこと要約

この論文は、連邦学習における個別化されたクライアントモデルを生成するハイパーネットワークベースのアプローチ pFedHN を提示し、クライアントごとのカスタマイズとスケーラブルな通信を可能にしつつ、共有学習を実現します。

ABSTRACT

Personalized federated learning is tasked with training machine learning models for multiple clients, each with its own data distribution. The goal is to train personalized models in a collaborative way while accounting for data disparities across clients and reducing communication costs. We propose a novel approach to this problem using hypernetworks, termed pFedHN for personalized Federated HyperNetworks. In this approach, a central hypernetwork model is trained to generate a set of models, one model for each client. This architecture provides effective parameter sharing across clients, while maintaining the capacity to generate unique and diverse personal models. Furthermore, since hypernetwork parameters are never transmitted, this approach decouples the communication cost from the trainable model size. We test pFedHN empirically in several personalized federated learning challenges and find that it outperforms previous methods. Finally, since hypernetworks share information across clients we show that pFedHN can generalize better to new clients whose distributions differ from any client observed during training.

研究の動機と目的

• 連邦学習におけるクライアント間のデータヘテロゲニティに対処し、個別化されたモデルを可能にする。
• 情報を共有しつつ通信コストを削減する。
• クライアント固有のモデルサイズとアーキテクチャを柔軟にする。
• 新規クライアントや異なるクライアント資源予算へ一般化する。

提案手法

• 中心となるハイパーネットワークを用いて各クライアントのモデル重みをクライアント埋め込みから生成する。
• サーバーとクライアントの更新を通じてハイパーネットワークのパラメータとクライアント埋め込みを共同最適化する。
• クライアントはデルタを計算するためにいくつかの局所更新を行い、それがハイパーネットワークのパラメータ更新を導く。
• オプションとして、特徴抽出器と分類器のパラメータを分離することでクライアントごとの個人用分類器を用いる。
• ハイパーネットワーク設定の理論的一般化分析を提供する。
• 分散最適化のアルゴリズム（Alg. 1）を用いた実践的な訓練アルゴリズムを説明する。

実験結果

リサーチクエスチョン

• RQ1 連邦設定においてハイパーネットワークは各クライアントの効果的な個別モデルを生成できるか？
• RQ2 ハイパーネットワークのパラメータを共有することで、異質なクライアント分布間の性能と汎化は改善されるか？
• RQ3 資源不均一性の下での pFedHN の性能はどうなるか、また未見の分布を持つ新規クライアントが連邦に参加した場合は？
• RQ4 マルチクライアント・個別設定における pFedHN の理論的一般化保証は何か？

主な発見

• pFedHN は、異質なクライアント設定下で CIFAR10、CIFAR100、Omniglot に対してベースラインFLおよび主要なPFL法を上回る。
• パーソナライズされた分類器を備えた pFedHN-PC は、離れたラベル空間を持つタスクを含むいくつかのシナリオで性能をさらに改善する。
• このアプローチは、ターゲットネットワークを異なるサイズで生成することにより、クライアントの計算予算の変動に適応しつつ高精度を維持する。
• pFedHN は、訓練時に見られなかった新規クライアントへの一般化がベースラインよりも優れていることを示す。