[論文レビュー] Federated Multi-Task Learning under a Mixture of Distributions

Othmane Marfoq, Giovanni Neglia+3 more|arXiv (Cornell University)|Aug 23, 2021

Privacy-Preserving Technologies in Data参考文献 67被引用数 79

ひとこと要約

本論文は、混合分布仮説の下での個別化マルチタスク学習を目的とした FedEM および D-FedEM という連邦型 EM に似たアルゴリズムを導入し、収束保証と、最先端の手法と比較した際の精度と公平性の改善を示す。

ABSTRACT

The increasing size of data generated by smartphones and IoT devices motivated the development of Federated Learning (FL), a framework for on-device collaborative training of machine learning models. First efforts in FL focused on learning a single global model with good average performance across clients, but the global model may be arbitrarily bad for a given client, due to the inherent heterogeneity of local data distributions. Federated multi-task learning (MTL) approaches can learn personalized models by formulating an opportune penalized optimization problem. The penalization term can capture complex relations among personalized models, but eschews clear statistical assumptions about local data distributions. In this work, we propose to study federated MTL under the flexible assumption that each local data distribution is a mixture of unknown underlying distributions. This assumption encompasses most of the existing personalized FL approaches and leads to federated EM-like algorithms for both client-server and fully decentralized settings. Moreover, it provides a principled way to serve personalized models to clients not seen at training time. The algorithms' convergence is analyzed through a novel federated surrogate optimization framework, which can be of general interest. Experimental results on FL benchmarks show that our approach provides models with higher accuracy and fairness than state-of-the-art methods.

研究の動機と目的

• クライアントデータのヘテロジェネティーが原因で単一のグローバルモデルだけでは十分でない場合の連邦学習を動機づける。
• 各クライアント分布が M 個の基礎分布の混合である flexible mixture model 仮説を提案する。
• 共有コンポーネントと個別混合を学習するための連邦型 EM に似たアルゴリズム（FedEM および D-FedEM）を開発する。
• 連邦代替最適化フレームワーク内での収束保証を提供する。
• 既存の個別化および非個別化 FL 手法よりも、精度と公平性の点で実証的な優位性を示す。

提案手法

• 生成モデルとしての混合モデルを採用する：各クライアント分布は、共有コンポーネントモデルを持つ M 個の基礎分布の混合である。
• 各クライアントの予測子を、学習可能な混合重みを各クライアントごとに持つ M 個のコンポーネントモデルの加重和として表現する。
• 学習を負の対数尤度の最小化として定式化する；E ステップで潜在的割り当てを計算し、M ステップで混合重みとコンポーネントパラメータを更新する連邦 EM を適用する。
• 集中型（クライアント-サーバ）と分散型（完全ピアツーペア）実装である FedEM および D-FedEM を提供し、定常点への収束保証を持つ。
• アプローチを、さまざまな設定とソルバーにまたがる一般化された連邦代替最適化フレームワークに組み込む。

実験結果

リサーチクエスチョン

• RQ1 クライアントデータがヘテロジェネティーである場合、跨クライアントデータを活用して個別化モデルを改善する連邦学習はどの条件下で可能か。
• RQ2 分布の混合仮説は、データローカリティを保ちつつ、FL における principled でスケーラブルな個別化を可能にするか。
• RQ3 EM に似た連邦アルゴリズムは定常点へ収束し、未見のクライアントへ対する実用的な一般化を提供するか。
• RQ4 提案フレームワークの下で、集中型および分散型の FL アーキテクチャは収束と性能の観点でどう比較されるか。
• RQ5 提案手法は、既存の個別化および非個別化の FL ベースラインよりも精度と公平性の改善を提供するか。

主な発見

• FedEM および D-FedEM は、標準的な仮定の下で連邦目的関数の定常点へ収束し、勾配と混合更新のレートが定量化される。
• 混合分布の枠組みは、各クライアント間の知識移転を可能にする、コンポーネントモデルの加重結合として個別化モデルを生み出す。
• FL ベンチマークにおける実証結果は、最先端の個別化および非個別化FL手法と比較して、精度と公平性が向上している。
• 見 unseen クライアントに対しては、コンポーネントを固定しテスト時に新しい混合重みを学習することで推論を容易にする。
• 連邦代替最適化は、クライアント-サーバおよび分散設定を跨ぐ、提案された EM に似たアルゴリズムの統一的な収束フレームワークを提供する。