[論文レビュー] Minimax Estimation for Personalized Federated Learning: An Alternative between FedAvg and Local Training?

Shuxiao Chen, Qinqing Zheng+2 more|arXiv (Cornell University)|Mar 2, 2021

Privacy-Preserving Technologies in Data参考文献 70被引用数 11

ひとこと要約

本稿は、データの非同一性が存在する下でのパーソナライズドフェデレーテッドラーニングを分析するためのミニマックスフレームワークを導入し、二択の定理を明らかにした。すなわち、データの非同一性が低い場合にはFedAvgがミニマックス的に最適であり、高い場合には純粋なローカルトレーニングが最適である。主な洞察は、パーソナライズーションが、非同一性の閾値に基づく二つのベースラインアルゴリズムの間での二択に還元されることにある。

ABSTRACT

A widely recognized difficulty in federated learning arises from the statistical heterogeneity among clients: local datasets often originate from distinct yet not entirely unrelated probability distributions, and personalization is, therefore, necessary to achieve optimal results from each individual's perspective. In this paper, we show how the excess risks of personalized federated learning using a smooth, strongly convex loss depend on data heterogeneity from a minimax point of view, with a focus on the FedAvg algorithm (McMahan et al., 2017) and pure local training (i.e., clients solve empirical risk minimization problems on their local datasets without any communication). Our main result reveals an approximate alternative between these two baseline algorithms for federated learning: the former algorithm is minimax rate optimal over a collection of instances when data heterogeneity is small, whereas the latter is minimax rate optimal when data heterogeneity is large, and the threshold is sharp up to a constant. As an implication, our results show that from a worst-case point of view, a dichotomous strategy that makes a choice between the two baseline algorithms is rate-optimal. Another implication is that the popular FedAvg following by local fine tuning strategy is also minimax optimal under additional regularity conditions. Our analysis relies on a new notion of algorithmic stability that takes into account the nature of federated learning.

研究の動機と目的

• クライントのデータ分布が顕著に異なるという統計的非同一性の課題に対処すること。
• 滑らかで強く凸な損失関数の下で、パーソナライズドモデルにおけるFedAvgまたはローカルトレーニングがミニマックス的に最適である条件を特定すること。
• 通信（FedAvg）またはローカル最適化（通信なし）が最適となる領域を分ける理論的閾値を確立すること。
• 分散型かつ非同一性のある環境を想定したフェデレーテッドラーニングに特化した、新たなアルゴリズム的安定性の概念を構築すること。
• クライントごとの非同一性に適応する複雑な問題を、二つのベースラインアルゴリズムの間の単純な二択に還元すること。

提案手法

• パーソナライズドフェデレーテッドラーニングの評価指標として、個別化された超過リスク（IER）を形式化する。
• パーソナライズド学習アルゴリズムの最悪ケース性能を分析するためのミニマックスフレームワークを導入する。
• クライント固有のデータ分布と通信制約を考慮した、新たなアルゴリズム的安定性の概念を提案する。
• 損失関数の強い凸性と滑らかさの性質を用いて、データ非同一性の閾値を導出する。
• このフレームワーク下でFedAvgと純粋なローカルトレーニングを分析し、それらのミニマックス最適性が非同一性の閾値に依存することを示す。
• プロキシマル演算子と勾配ノルムの上限を用いて、高次元かつ分散型の設定における収束性と安定性の上限を導出する。

実験結果

リサーチクエスチョン

• RQ1 パーソナライズドフェデレーテッドラーニングにおいて、FedAvgがミニマックス的に最適となる条件は何か？
• RQ2 データの非同一性が存在する状況で、純粋なローカルトレーニング（通信なし）がミニマックス的に最適となるのはいつか？
• RQ3 フェデレーテッドラーニングにおけるパーソナライズーションの複雑な問題は、FedAvgとローカルトレーニングの二択に還元できるか？
• RQ4 データの非同一性は、フェデレーテッドラーニングアルゴリズムのミニマックス最適性を決定づける役割を果たすか？
• RQ5 提案されたアルゴリズム的安定性の概念は、フェデレーテッドラーニングの文脈において、古典的定義とどのように異なるか？

主な発見

• FedAvgがミニマックス的に最適となるようなデータ非同一性の閾値が存在する。
• データ非同一性がその閾値を超えると、純粋なローカルトレーニングがミニマックス的に最適となり、FedAvgを上回る性能を示す。
• ミニマックス的に最適な選択肢は、データ非同一性のレベルに応じて、FedAvgとローカルトレーニングの二択に還元される。
• 理論的閾値は、損失関数の強い凸性と滑らかさを用いて導出され、クライント固有の勾配ノルムとデータサイズに依存する。
• 提案されたアルゴリズム的安定性の概念により、パーソナライズドフェデレーテッドラーニングの文脈でよりタイトなミニマックスリスクの上限が得られる。
• 分析から、FedAvgの性能は高非同一性の領域において著しく劣化する一方で、ローカルトレーニングは最適性を維持することが示された。