[論文レビュー] Federated Learning with Partial Model Personalization

Krishna Pillutla, Kshitiz Malik+4 more|arXiv (Cornell University)|Apr 8, 2022

Privacy-Preserving Technologies in Data被引用数 26

ひとこと要約

この論文は、部分的に個別化されたモデルのための2つのフェデレーテッドラーニングアルゴリズム（FedAltとFedSim）を非凸・部分的参加設定で分析し、収束を証明し、部分的個別化が少数の個別パラメータで完全な個別化に近い性能を達成できることを示し、FedAltは一般にFedSimより優れている。

ABSTRACT

We consider two federated learning algorithms for training partially personalized models, where the shared and personal parameters are updated either simultaneously or alternately on the devices. Both algorithms have been proposed in the literature, but their convergence properties are not fully understood, especially for the alternating variant. We provide convergence analyses of both algorithms in the general nonconvex setting with partial participation and delineate the regime where one dominates the other. Our experiments on real-world image, text, and speech datasets demonstrate that (a) partial personalization can obtain most of the benefits of full model personalization with a small fraction of personal parameters, and, (b) the alternating update algorithm often outperforms the simultaneous update algorithm by a small but consistent margin.

研究の動機と目的

• フェデレーテッドラーニングにおける部分的なモデル個別化を動機づけ、メモリ使用量を削減しつつ性能を維持する。
• 共有パラメータと個別パラメータを対象とした2つの更新方式（FedAltとFedSim）を開発・分析する。
• 非凸・部分参加の下での収束保証を提供する。
• 多様なデータセット（画像、テキスト、音声）を横断して個別化方式を実証的に比較する。
• 部分的個別化が有利な状況とその限界について実用的な指針を提供する。

提案手法

• 共有パラメータuとデバイス固有の個人パラメータv_iを用いた最適化問題を式(3)として定義する。
• 標準FLラウンド内で2つのアルゴリズムを研究する：同時更新のFedSimと交互更新のFedAlt。
• 局所更新手順を提供する：LocalAlt（個人更新→共有更新）とLocalSim（同時更新）を確率勾配で実行。
• 依存する乱数を扱う仮想完全参加手法を用いて、滑らかな非凸設定・部分参加下での収束を確立する。
• 問題依存の有効ノイズ分散を用いた1/sqrt(T)および1/T^{2/3}の収束境界を導出する。
• FedAltとFedSimを理論的・実証的に比較する（タスク：画像、テキスト、音声）。

実験結果

リサーチクエスチョン

• RQ1 部分的なモデル個別化は、パラメータ数を減らしつつ完全な個別化の恩恵の大部分を得られるか。
• RQ2 一般的な非凸目的関数と部分デバイス参加の下で、FedAltとFedSimは収束性をどのように示すか。
• RQ3 デバイス側の個別勾配ノイズが低く、結合が控えめなとき、FedAltはFedSimを上回る条件は何か。
• RQ4 入力層、出力層、アダプタなど異なる個別化の分割が性能とメモリフットプリントにどう影響するか。
• RQ5 実世界のFL導入時に個別化戦略を選ぶ際の実践的ガイドラインは何か。

主な発見

• 部分的個別化は、個別パラメータの小さな割合のみで、完全な個別化のほとんどの利点を達成する。
• 部分参加下での収束を満たし、実践的にはFedSimよりわずかで一貫したマージンでFedAltが優れている。
• 二つの収束レジームが現れる。デバイス側の個別勾配ノイズが低く、結合が控えめなとき、FedAltがFedSimを支配する可能性がある。
• 個別化戦略（入力層、出力層、アダプタ）はタスク・データ依存の性能を生み、アダプタはしばしば完全な個別化に匹敵するか上回りつつ、適度な個別化予算で済む。
• 一部のデバイスでは個別化が性能を害することがあり、公正性と平均利得の両方に対処する必要がある。
• タスクを横断して（画像、テキスト、音声）、部分的個別化は現実的なデータセットで強い実証的利得を示す。