[論文レビュー] Parameterized Knowledge Transfer for Personalized Federated Learning

Zhang, Jie, Song Guo+4 more|arXiv (Cornell University)|Nov 4, 2021

Privacy-Preserving Technologies in Data参考文献 41被引用数 25

ひとこと要約

KT-pFL は、個別の予測を線形に集約するパラメータ化知識係数行列を学習することで、異種モデルアーキテクチャを持つ個別化フェデレーテッド学習を実現し、個別化と通信効率を向上させます。

ABSTRACT

In recent years, personalized federated learning (pFL) has attracted increasing attention for its potential in dealing with statistical heterogeneity among clients. However, the state-of-the-art pFL methods rely on model parameters aggregation at the server side, which require all models to have the same structure and size, and thus limits the application for more heterogeneous scenarios. To deal with such model constraints, we exploit the potentials of heterogeneous model settings and propose a novel training framework to employ personalized models for different clients. Specifically, we formulate the aggregation procedure in original pFL into a personalized group knowledge transfer training algorithm, namely, KT-pFL, which enables each client to maintain a personalized soft prediction at the server side to guide the others' local training. KT-pFL updates the personalized soft prediction of each client by a linear combination of all local soft predictions using a knowledge coefficient matrix, which can adaptively reinforce the collaboration among clients who own similar data distribution. Furthermore, to quantify the contributions of each client to others' personalized training, the knowledge coefficient matrix is parameterized so that it can be trained simultaneously with the models. The knowledge coefficient matrix and the model parameters are alternatively updated in each round following the gradient descent way. Extensive experiments on various datasets (EMNIST, Fashion\_MNIST, CIFAR-10) are conducted under different settings (heterogeneous models and data distributions). It is demonstrated that the proposed framework is the first federated learning paradigm that realizes personalized model training via parameterized group knowledge transfer while achieving significant performance gain comparing with state-of-the-art algorithms.

研究の動機と目的

• フェデレーテッド学習における統計的非同質性に対処し、異種クライアントモデルを可能にする。
• サーバー側で各クライアントに対して個別化されたソフト予測を通じた知識伝達を提案する。
• すべてのクライアントの寄与を適応的に重みづけするパラメータ化知識係数行列を学習する。
• モデルパラメータと知識係数を更新する交互最適化を提供する。
• 異種環境での精度と通信効率の改善を示す。

提案手法

• パラメータの集約を個別化グループ知識伝達機構に置き換える KT-pFL を導入する。
• 各クライアントの知識を個別化されたソフト予測として表現し、サーバー上で学習可能な知識係数矩阵 c を用いて結合する。
• 個別化損失を、局所経験リスクと集約知識と各クライアントのソフト予測との間の KL 発散を組み合わせて定義する（s(w^n, x) を介して）。
• 交互最適化手順を使用：局所トレーニングと蒸留によって局所モデル w^n を更新し、次に勾配ステップで知識係数矩陣 c を更新する。
• 更新規則には、私有データでの局所 SGD と公開データセットでの蒸留を含み、適切な場合には c を均一に近づける正則化項を用いたサーバーサイドの更新を続ける。
• 理論的性能保証（Theorem 4.1）を提供し、個別化アンサンブルが特定の条件下で純粋な局所モデルよりも優れていることを示す。

Figure 1: Illustration of the KT-pFL framework. The workflow includes 6 steps: ① local training on private data; ②, ③ each client outputs the local soft prediction on public data and sends it to the server; ④ the server calculates each client’s personalized soft prediction via a linear combination o

実験結果

リサーチクエスチョン

• RQ1 パラメータ化された係数行列を介した個別化知識伝達は、フェデレーテッド学習における異種クライアントモデルの性能を向上させるか？
• RQ2 学習可能な知識係数矩陣は、データ分布が類似したクライアント間の協調にどのように影響するか？
• RQ3 KT-pFL はパラメータベース型 FL や他の pFL 手法と比べて通信オーバーヘッドを削減しつつ、精度を維持または向上させるか？
• RQ4 非 IID フェデレーテッド設定で個別化アンサンブル予測を用いた場合の理論的保証はどうなるか？

主な発見

• KT-pFL は、EMNIST、Fashion-MNIST、CIFAR-10 の異種モデル設定において、最先端の個別化FL方法および非個別化FL方法と比較して、同等または優れた精度を達成する。
• 知識係数矩陣はクライアント間の協調強度を信頼性高く調整し、グローバル集約ベースラインよりも個別化を改善する。
• KT-pFL は、完全なモデルパラメータの転送ではなくソフト予測の転送を通じて効率を高め、通信オーバーヘッドを削減する。
• 大規模なシミュレーション（最大100クライアント）でも同様に強い性能を示す、同質モデル設定でも有効。
• 理論的結果（Theorem 4.1）は、適切な係数の下で個別化アンサンブルがローカルデータのみで学習したモデルを上回ることを解析的に支持する。

(a) EMNIST