[論文レビュー] Federated Residual Learning

Alekh Agarwal, John Langford+1 more|arXiv (Cornell University)|Mar 28, 2020

Privacy-Preserving Technologies in Data参考文献 22被引用数 19

ひとこと要約

本稿では、クライアントがパーソナライズされたローカルモデルを学習し、それらが共有のグローバルモデルと共同で予測を行う、新しいフェデレーテッドラーニングフレームワークであるFederated Residual Learning（FedRes）を提案する。予測をグローバルとローカルの残差の和としてモデル化することで、通信オーバーヘッドを低減し、プライバシーを強化するとともに、データの非独立同分布性や通信遅延に対して優れたロバスト性を示し、多様なデータセットにおける実験で、集中型および独立学習のベースラインを上回る性能を達成する。

ABSTRACT

We study a new form of federated learning where the clients train personalized local models and make predictions jointly with the server-side shared model. Using this new federated learning framework, the complexity of the central shared model can be minimized while still gaining all the performance benefits that joint training provides. Our framework is robust to data heterogeneity, addressing the slow convergence problem traditional federated learning methods face when the data is non-i.i.d. across clients. We test the theory empirically and find substantial performance gains over baselines.

研究の動機と目的

• 非独立同分布（non-i.i.d.）のクライアントデータが集中型モデルの性能を低下させるフェデレーテッドラーニングにおけるデータの非独立同分布性の課題に対処すること。
• 集中型モデルの複雑さと通信コストを低減しつつ、共同学習の利点を維持すること。
• クライアントがモデル構造や特徴を公開せずに、プライバシーを守りながらスケーラブルなフェデレーテッドラーニングを可能にする仕組みを提供すること。
• 現実のフェデレーテッドシステムに一般的に見られる通信遅延に強く、ロバストなアルゴリズムを設計すること。
• FedResが多様なデータ分布および遅延条件の下で、集中型および独立学習のベースラインを上回ることを実証的に検証すること。

提案手法

• 各クライアントの予測を、グローバルモデルの出力とローカルモデルの残差予測の和としてモデル化することで、完全なモデル共有なしに共同学習を可能にする。
• クライアントは、ローカルとグローバル予測の差分（残差）のみを通信し、1サンプルあたり数ビットの通信量にまで削減できる。
• 遅延フィードバックに対応する新しいSGD変種を採用することで、非同期更新にもかかわらず収束を維持する。
• ミニバッチ学習をサポートし、クライアントが独立してローカルモデルや特徴を設計できるため、異種デバイスのサポートが可能である。
• 理論的分析により、遅延に強いレグレットバウンドを導出し、純粋なグローバルまたはローカル学習よりも優れた性能を示す。
• 画像分類、強化学習、機械翻訳など、さまざまなモデルに一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングフレームワークとして、グローバルモデルとローカルモデルを共同で活用することで、データの非独立同分布性下でも性能を向上させることができるか？
• RQ2 フェデレーテッド環境における共同学習を可能にしつつ、通信効率とクライアントのプライバシーをどのように維持できるか？
• RQ3 実世界の展開で一般的な通信遅延の下でも、提案されたFedResフレームワークはどの程度ロバストであるか？
• RQ4 FedResは、多様なデータ分布および遅延条件の下で、集中型および独立学習のベースラインを上回る性能を示すか？
• RQ5 残差ベースのモデル分離アプローチは、異種クライアント環境におけるモデルの複雑さと性能のバランスを効果的にとれるか？

主な発見

• FedResは、クライアントのタスクが類似している場合やデータが非i.i.d.である場合に、テスト精度の面で集中型および独立学習のベースラインを一貫して上回る。
• 遅延がない状況では、すべてのデータセットでほぼ最適な性能を達成し、MNIST、SATIMAGE、USPSのケースでは顕著な差でベースラインを上回る。
• 通信遅延（最大200ステップ）が発生しても、FedResはロバストな性能を維持し、わずかな劣化にとどまる。遅延が存在する際には集中型学習を上回る。
• 独立学習が優れているデータセット（例：letter、pendigits）においても、FedResは競争力のある性能を示すが、タスクの類似性が低い場合、中程度の遅延下ではわずかに劣ることがある。
• クライアント数が増加するにつれ、FedResは遅延による性能低下を克服し、大規模な展開においてもスケーラビリティとレジliエンスを示す。
• 理論的レグレットバウンドにより、FedResが境界付き遅延下でも収束性と性能向上を維持することが確認され、遅延付き確率的最適化の先行研究をフェデレーテッド設定に拡張した。