[論文レビュー] Federated Learning with Taskonomy for Non-IID Data.

Hadi Jamali Rad, Mohammad Abdizadeh+1 more|arXiv (Cornell University)|Mar 29, 2021

Privacy-Preserving Technologies in Data参考文献 50被引用数 5

ひとこと要約

Federated Learning with Taskonomy (FLT) は、非IIDデータを扱うため、サーバー主導の一度限りのプロセスにより、事前学習済みエンコーダーを用いてクライントデータを潜在的シグネチャに圧縮することで、クライント間のタスク関連性を学習する。その後、サーバーは多様体学習を用いてクライント関連性をモデル化し、FedAvgの一般化を実現することで、クラスタリングあり・なしの両方のクライント構成において、効率的なアグリゲーションを可能にし、非IID設定下で最先端のパフォーマンスと改善された公平性を達成する。

ABSTRACT

Classical federated learning approaches incur significant performance degradation in the presence of non-IID client data. A possible direction to address this issue is forming clusters of clients with roughly IID data. Most solutions following this direction are iterative and relatively slow, also prone to convergence issues in discovering underlying cluster formations. We introduce federated learning with taskonomy (FLT) that generalizes this direction by learning the task-relatedness between clients for more efficient federated aggregation of heterogeneous data. In a one-off process, the server provides the clients with a pretrained (and fine-tunable) encoder to compress their data into a latent representation, and transmit the signature of their data back to the server. The server then learns the task-relatedness among clients via manifold learning, and performs a generalization of federated averaging. FLT can flexibly handle a generic client relatedness graph, when there are no explicit clusters of clients, as well as efficiently decompose it into (disjoint) clusters for clustered federated learning. We demonstrate that FLT not only outperforms the existing state-of-the-art baselines in non-IID scenarios but also offers improved fairness across clients.

研究の動機と目的

• 非IIDクライントデータ分布が原因で生じるパフォーマンスの低下を是正すること。
• 従来のクラスタリングベースのアプローチにおける遅い収束性と反復的性質を克服すること。
• タスク関連性をモデル化することで、異種データの効率的で柔軟なアグリゲーションを可能にすること。
• 多様なデータ分布を持つクライント間でモデルパフォーマンスの公平性を向上させること。
• 明示的なクライントクラスタリングにとどまらず、任意のクライント関連性グラフをサポートするようにFedAvgを一般化すること。

提案手法

• クライントは、サーバーが提供する事前学習済みで微調整可能なエンコーダーを用いて、ローカルデータを潜在的表現に圧縮する。
• 各クライントは、その潜在的表現のシグネチャ（例：統計要約）をサーバーに送信する。
• サーバーは、潜在的シグネチャ上の多様体学習を用いて、クライント間のタスク関連性を学習する。
• サーバーは、学習済みのクライント関連性グラフを考慮した一般化されたフェデレーテッドアベレージングを実行する。
• 本手法は、非クラスタ構成と、学習済み関連性に基づく明示的クラスタリングの両方をサポートする。
• 本手法は一度限りのプロセスとして設計されており、反復的改善を回避することで収束安定性が向上する。

実験結果

リサーチクエスチョン

• RQ1 一度限りで反復的でない手法が、非IIDフェデレーテッドラーニングにおけるクライント関連性を効果的にモデル化できるか？
• RQ2 クライント間のタスク関連性を学習することで、標準的なフェデレーテッドアベレージングと比較して、モデルパフォーマンスがどのように向上するか？
• RQ3 明示的なクライントクラスタリングを超えて、任意のクライント関連性グラフを扱えるように一般化できるか？
• RQ4 FLT が、多様なデータを持つクライント間でモデル精度の公平性をどの程度向上させるか？
• RQ5 非IID設定下で、FLT は最先端のベースラインと比較してどのように差をつけるか？

主な発見

• FLT は、非IIDデータ環境下で、既存の最先端ベースラインを上回る優れたモデル精度を示した。
• 本手法は、クライント間のパフォーマンス格差を低減させることで、パフォーマンスの公平性を向上させた。
• 事前に定義されたクラスタがなくても、学習済みのクライント関連性を統合することで、フェデレーテッドアベレージングの一般化を効果的に実現した。
• 一度限りで反復的でない性質のおかげで、反復的クラスタリングアプローチに比べて収束が速くなった。
• クライントの潜在的シグネチャ上での多様体学習は、タスク関連性を的確に捉え、より効果的なアグリゲーションを可能にした。
• クライントのデータ分布が極めて多様であっても、本手法は高いパフォーマンスを維持した。