[論文レビュー] On Bridging Generic and Personalized Federated Learning.

Hong-You Chen, Wei‐Lun Chao|arXiv (Cornell University)|Jul 2, 2021

Privacy-Preserving Technologies in Data参考文献 99被引用数 6

ひとこと要約

本論文では、2つの異なる予測器と損失関数を用いて汎用的で個人化されたモデルの目的を分離することで、一般化と個人化のトレードオフを解消するフェデレーテッド・ラーニングフレームワーク、Fed-RoDを提案する。一貫した分布に依存しない損失関数で訓練された頑健な汎用予測器と、各クライアントごとに軽量な個人化アダプタを組み合わせることで、Fed-RoDは非i.i.d.データを伴う複数のベンチマークデータセットで、汎用的および個人化されたタスクの両方において最先端の性能を達成する。これは、長年のフェデレーテッド・ラーニングにおける根本的なトレードオフを解消するものである。

ABSTRACT

Federated learning is promising for its ability to collaboratively train models with multiple clients without accessing their data, but vulnerable when clients' data distributions diverge from each other. This divergence further leads to a dilemma: Should we prioritize the learned model's generic performance (for future use at the server) or its personalized performance (for each client)? These two, seemingly competing goals have divided the community to focus on one or the other, yet in this paper we show that it is possible to approach both at the same time. Concretely, we propose a novel federated learning framework that explicitly decouples a model's dual duties with two prediction tasks. On the one hand, we introduce a family of losses that are robust to non-identical class distributions, enabling clients to train a generic predictor with a consistent objective across them. On the other hand, we formulate the personalized predictor as a lightweight adaptive module that is learned to minimize each client's empirical risk on top of the generic predictor. With this two-loss, two-predictor framework which we name Federated Robust Decoupling Fed-RoD, the learned model can simultaneously achieve state-of-the-art generic and personalized performance, essentially bridging the two tasks.

研究の動機と目的

• フェデレーテッド・ラーニングにおける、汎用的モデル性能（サーバー側の利便性）と個人化された性能（クライアント側の精度）の根本的トレードオフを解消すること。
• クライアント間で非i.i.d.なデータ分布が生じることでモデル性能が低下し、収束が妨げられるという課題を克服すること。
• 両方の目的を損なわず、同時に最適化できる統合フレームワークを構築すること。
• クライアントがサーバーでの頑健で汎用的なモデルの構築に貢献しつつも、個人化された性能を維持できること。
• モデル学習を2つの明確に分離されたが補完的なタスクに分離すること：汎用的一般化とクライアント固有の適応。

提案手法

• 非同一のクラス分布に対して不変であるように設計された、一貫した学習目的を保証する一連の頑健な損失関数を導入する。
• モデルを2つのコンponentに分離する：すべてのクライアントで訓練される共有の汎用予測器と、クライアント固有の個人化予測器。
• 各クライアントの経験的リスクを最小化するように微調整可能な、軽量なトレーニング可能なアダプタモジュールとして個人化予測器を定式化する。
• エンドツーエンドで訓練するため、2本の損失関数を用いる：1つは汎用的性能（頑健な損失）、もう1つは個人化的性能（クライアント固有の経験的リスク）。
• クライアント固有のデータシフトから分離することで、汎用予測器の安定性と一般化性能を維持しつつ、モジュラーな適応によって個人化を可能にする。
• 汎用ヘッドがベースモデルを担い、推論時または微調整時にクライアントごとに動的に適応される個人化ヘッドを持つデュアルヘッドアーキテクチャを採用する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッド・ラーニングフレームワークは、両方のモデル性能を損なわず、同時に最適化できるか？
• RQ2 頑健な損失関数は、クライアント間の非i.i.d.クラス分布による性能低下をどのように緩和できるか？
• RQ3 軽量なクライアント固有のアダプタは、共有モデルの一般化性能を損なわず、どれほど個人化精度を向上させられるか？
• RQ4 汎用的および個人化的性能の学習目的を分離することで、統合された最適化アプローチに比べてより優れた全体的な性能が得られるか？
• RQ5 本手法は、データ分布シフトに対する耐性と個人化精度の面で、既存手法と比較してどのように優れているか？

主な発見

• Fed-RoDは、非i.i.d.データを伴う複数のベンチマークデータセットで、汎用的および個人化されたタスクの両方において最先端の性能を達成した。
• 頑健な損失部は、標準的な交差エントロピーと比較して、極端なデータ分布シフト下でも汎用モデルの精度を顕著に向上させた。
• 個人化アダプタモジュールにより、各クライアントは高いタスク固有の精度を達成でき、汎用的または個人化的目標に最適化されたベースラインを上回った。
• 分離された学習フレームワークは、強固な一般化性能を維持しながら、細かい粒度の個人化を可能にし、汎用対個人化のトレードオフを効果的に解消した。
• 実験結果から、2損失・2予測器アーキテクチャは、統合最適化戦略に比べて収束がより安定し、クライアントレベルの性能が優れていることが示された。
• 軽量なアダプタは計算オーバーヘッドを最小限に抑え、実世界のリソース制限のあるフェデレーテッド環境における実用性を確保した。