[論文レビュー] FedU: A Unified Framework for Federated Multi-Task Learning with Laplacian Regularization.

Canh T. Dinh, Tung T. Vu+3 more|arXiv (Cornell University)|Feb 14, 2021

Privacy-Preserving Technologies in Data参考文献 51被引用数 37

ひとこと要約

FedUは、ラプラシアン正則化を用いてクライアント間の関係を明示的にモデル化する統合型フェデレーテッドマルチタスク学習フレームワークを提案する。これにより、多様なFL設定において性能が向上し、強い凸性の目的関数では線形収束、非凸性の目的関数では1/2次の部分線形収束を達成する。これは、FedAvg、MOCHA、pFedMe、Per-FedAvgを凌駕する。

ABSTRACT

Federated multi-task learning (FMTL) has emerged as a natural choice to capture the statistical diversity among the clients in federated learning. To unleash the potential of FMTL beyond statistical diversity, we formulate a new FMTL problem FedU using Laplacian regularization, which can explicitly leverage relationships among the clients for multi-task learning. We first show that FedU provides a unified framework covering a wide range of problems such as conventional federated learning, personalized federated learning, few-shot learning, and stratified model learning. We then propose algorithms including both communication-centralized and decentralized schemes to learn optimal models of FedU. Theoretically, we show that the convergence rates of both FedU's algorithms achieve linear speedup for strongly convex and sublinear speedup of order $1/2$ for nonconvex objectives. While the analysis of FedU is applicable to both strongly convex and nonconvex loss functions, the conventional FMTL algorithm MOCHA, which is based on CoCoA framework, is only applicable to convex case. Experimentally, we verify that FedU outperforms the vanilla FedAvg, MOCHA, as well as pFedMe and Per-FedAvg in personalized federated learning.

研究の動機と目的

• 従来のフェデレーテッドラーニングがクライアント固有の統計的多様性やタスク間関係を十分に捉えていないという限界を解決すること。
• パーソナライズドFL、少数ショット学習、ストラティファイドラーニングといった多様なFLパラダイムを、一つのフレームワークで統合すること。
• クライアント類似度をラプラシアン正則化を用いて活用することで、スケーラブルで通信効率の良いアルゴリズムを開発すること。
• 凸関数と非凸関数の両方の目的関数に対して理論的収束保証を確立すること。これは、MOCHAのように凸関数に限定された先行手法とは異なり、より広範な適用を可能にする。

提案手法

• クライアント類似度グラフ上のラプラシアン正則化項を用いてクライアント関係をモデル化する統合型FMTL定式化、すなわちFedUを導入する。
• グラフベースの正則化を採用し、類似したクライアント同士が知識を共有するよう促進することで、一般化性能とパーソナライズド性能を向上させる。
• 中央集権的および分散型の最適化アルゴリズムを設計し、柔軟な通信アーキテクチャをサポートする。
• 強い凸性（線形速度向上）および非凸性（1/2次部分線形速度向上）の下での収束レートを導出し、凸関数および非凸関数の両方の損失関数に適用可能な理論的分析を実施する。
• 正則化された目的関数を効率的に分散トレーニングで解けるように、原双対最適化アプローチを採用する。

実験結果

リサーチクエスチョン

• RQ1 統合型フレームワークは、従来のFL、パーソナライズドFL、少数ショット学習、ストラティファイドラーニングを、一つの最適化目的関数で効果的に統合できるか？
• RQ2 クライアント類似度にラプラシアン正則化を適用することで、フェデレーテッドマルチタスク学習におけるモデル性能と収束性はどのように向上するか？
• RQ3 FedUの凸関数および非凸関数の両方に対する理論的収束特性は何か？ また、MOCHAのような先行手法と比較してどのように異なるか？
• RQ4 pFedMe や Per-FedAvg といった最先端のベースラインと比較して、FedUはより優れた一般化性能とパーソナライズド性能を達成できるか？

主な発見

• 強い凸性の目的関数に対して、FedUは線形収束速度向上を達成し、有利な設定下で最適なスケーラビリティを示す。
• 非凸性の目的関数に対して、FedUは1/2次の部分線形収束率を達成しており、競争力があり理論的にも裏付けられている。
• FedUの理論的分析は、凸関数と非凸関数の両方の損失関数に有効である。これは、MOCHAが凸関数に限定されているのとは対照的である。
• 実験結果から、FedUはパーソナライズドフェデレーテッドラーニングベンチマークにおいて、FedAvg、MOCHA、pFedMe、Per-FedAvgをすべて上回ることが示された。