[論文レビュー] Fed-ensemble: Improving Generalization through Model Ensembling in Federated Learning

Naichen Shi, Fan Lai+2 more|arXiv (Cornell University)|Jul 21, 2021

Privacy-Preserving Technologies in Data参考文献 40被引用数 14

ひとこと要約

Fed-ensemble は、ランダムな順列に基づくクライアント割り当てを用いて K 個のモデルを訓練およびアンサンブル化することで、通信のオーバーヘッドなしにモデル平均化を実現する、新しいフェデレーテッドラーニングフレームワークを提案する。理論的には、ニューラルタングェントカーネル（NTK）の枠組みにおいて、すべての K 個のモデルが同じ予測事後分布からのサンプルに収束することを証明し、アンサンブルによる分散低減と一般化性能の向上を裏付ける。

ABSTRACT

In this paper we propose Fed-ensemble: a simple approach that bringsmodel ensembling to federated learning (FL). Instead of aggregating localmodels to update a single global model, Fed-ensemble uses random permutations to update a group of K models and then obtains predictions through model averaging. Fed-ensemble can be readily utilized within established FL methods and does not impose a computational overhead as it only requires one of the K models to be sent to a client in each communication round. Theoretically, we show that predictions on newdata from all K models belong to the same predictive posterior distribution under a neural tangent kernel regime. This result in turn sheds light onthe generalization advantages of model averaging. We also illustrate thatFed-ensemble has an elegant Bayesian interpretation. Empirical results show that our model has superior performance over several FL algorithms,on a wide range of data sets, and excels in heterogeneous settings often encountered in FL applications.

研究の動機と目的

• データの非独立同分布（non-IID）および信頼性の低いクライアントが存在する状況下で、フェデレーテッドラーニングにおける高い分散と過学習の問題に対処すること。
• クライアントの計算負荷や通信負荷を増加させることなく、既存の FL メソッドの一般化性能を向上させること。
• ニューラルタングェントカーネル（NTK）の枠組みを用いて、FL におけるモデルアンサンブルの理論的基盤を提供すること。
• フェデレーテッドラーニングにおけるアンサンブル予測プロセスのベイズ的解釈を確立すること。
• 多様で非均質な FL ベンチマークデータセットにおいて、提案手法の実証的優位性を示すこと。

提案手法

• Fed-ensemble は、クライアントをランダムな順列に基づいて割り当てることでモデルの多様性を確保する、K 個の独立したグローバルモデルを維持する。
• 各通信ラウンドでは、クライントに送信するのは K 個のモデルのうちの1つに限定されるため、通信オーバーヘッドを最小限に抑える。
• 最終的な予測は、すべての K 個のモデルの出力を平均化することで得られ、アンサンブル平均化によって分散を低減する。
• 理論的分析により、過パラメータ化された状態では、すべての K 個のモデルの予測が、NTK フレームワーク下で同じ極限のガウス過程からのサンプルに収束することが示された。
• 本手法はベイズ的解釈を有しており、アンサンブル平均は事後予測分布に対応することが示された。
• 本フレームワークは、既存の FL の改善手法（例：FedProx や FedAdam）と直交しており、通信効率の良い手法やロバストな集約手法と統合可能である。

実験結果

リサーチクエスチョン

• RQ1 データの非均質性下で、モデルアンサンブルはフェデレーテッドラーニングにおける一般化性能を向上させ得るか？
• RQ2 FL におけるアンサンブル化は、予測分散の低減と耐性向上をもたらすか？
• RQ3 過パラメータ化された状態において、ニューラルタングェントカーネル（NTK）の枠組み下で、モデル平均化の理論的利点を正当化できるか？
• RQ4 フェデレーテッドラーニングの文脈において、アンサンブル予測のベイズ的解釈は何か？
• RQ5 Fed-ensemble は、非均質なデータ環境下で、最先端の FL アルゴリズムと比較して実証的に優れているか？

主な発見

• Fed-ensemble は、非 IID および非均質なデータ分布を含む複数のベンチマークデータセットにおいて、FedAvg や他のベースライン FL アルゴリズムと比較して優れたテスト精度を達成した。
• 本手法は非均質な環境下で予測分散を顕著に低減し、データの偏りやクライアントの離脱に対しても耐性が向上していることを示した。
• 理論的分析により、過パラメータ化された状態では、すべての K 個のモデルが同じ極限のガウス過程からのサンプルに収束することが確認され、平均化による一般化性能の向上が裏付けられた。
• アンサンブル予測プロセスは自然なベイズ的解釈を有しており、平均値が事後予測分布に対応することが示された。
• 通信コストは追加で発生せず、1ラウンドあたりクライアント1回のモデル送信で済むため、効率性が維持された。
• 実証的結果から、FedProx や FedAdam などの他の最適化手法と組み合わせても、Fed-ensemble が既存手法を上回ることが示された。