[論文レビュー] A Non-parametric View of FedAvg and FedProx: Beyond Stationary Points

Lili Su, Jiaming Xu+1 more|arXiv (Cornell University)|Jun 29, 2021

Privacy-Preserving Technologies in Data被引用数 16

ひとこと要約

本稿は、再現核ヒルバート空間（RKHS）を用いた非パラメトリック解析を通じて、非均質的かつ非平衡なデータ設定下におけるFedAvgおよびFedProxの性能を評価し、両アルゴリズムが推定誤差を $1/t$ のレートで減少させ、有限ランクカーネルでは指数的減少を示すことを示している。定常点に到達できないにもかかわらず、最小最大最適誤差率を達成しており、提案された「連携利得」は、特に中程度の非均質性下でのデータが乏しいクライアントにとっての参加による利点を定量化している。

ABSTRACT

Federated Learning (FL) is a promising decentralized learning framework and has great potentials in privacy preservation and in lowering the computation load at the cloud. Recent work showed that FedAvg and FedProx - the two widely-adopted FL algorithms - fail to reach the stationary points of the global optimization objective even for homogeneous linear regression problems. Further, it is concerned that the common model learned might not generalize well locally at all in the presence of heterogeneity. In this paper, we analyze the convergence and statistical efficiency of FedAvg and FedProx, addressing the above two concerns. Our analysis is based on the standard non-parametric regression in a reproducing kernel Hilbert space (RKHS), and allows for heterogeneous local data distributions and unbalanced local datasets. We prove that the estimation errors, measured in either the empirical norm or the RKHS norm, decay with a rate of 1/t in general and exponentially for finite-rank kernels. In certain heterogeneous settings, these upper bounds also imply that both FedAvg and FedProx achieve the optimal error rate. To further analytically quantify the impact of the heterogeneity at each client, we propose and characterize a novel notion-federation gain, defined as the reduction of the estimation error for a client to join the FL. We discover that when the data heterogeneity is moderate, a client with limited local data can benefit from a common model with a large federation gain. Numerical experiments further corroborate our theoretical findings.

研究の動機と目的

• FedAvgおよびFedProxが定常点に到達しないにもかかわらず、FLにおいて低く抑えられた推定誤差を達成するというパラドックスを解明すること。
• 非均質的かつ非平衡なローカルデータ分布下におけるFedAvgおよびFedProxの収束性と統計的効率性を分析すること。
• 参加クライアントが得る利点を定量化可能な新しい指標「連携利得」を導入・形式化すること。
• RKHSノルムにおける理論的誤差バウンダリーを確立し、特定の非均質的条件下での最適性を示すこと。
• 線形でない設定（例：多項式回帰）において、両アルゴリズムがほぼ最適な推定レートを達成することを経験的に検証すること。

提案手法

• 非パラメトリック回帰を再現核ヒルバート空間（RKHS）内で行う枠組みに根拠を置き、パラメトリック仮定を必要としない柔軟な関数推定を可能にする。
• 推定誤差バウンダリーを経験的ノルムおよびRKHSノルムの両方で導出し、$1/t$ のレートと有限ランクカーネルでは指数的減少を示す。
• クライアントがローカル学習と比較して連携モデルに参加することで得られる推定誤差の低減を定義した新しい指標「連携利得」を導入する。
• 非均質なデータ分布と非平衡なクライアントデータセットを組み込んだ理論的分析であり、勾配差分の有界性や新規データの仮定といった制限的な仮定を回避している。
• 変動するデータ非均質性とクライアントのデータサイズを想定した線形および非線形（多項式）回帰タスクにおける数値実験を通じてフレームワークを検証した。
• 非線形関数フィッティングにおける平均二乗誤差（MSE）の評価にモンテカルロ統合を用い、異なる集約周期を有するFedAvgおよびFedProxとの比較結果を提示した。

実験結果

リサーチクエスチョン

• RQ1 FedAvgおよびFedProxが定常点に収束しないにもかかわらず、最適な統計的推定レートを達成できるか？
• RQ2 データの非均質性およびクライアント間の非平衡データが、FedAvgおよびFedProxの収束性と一般化性能に与える影響は何か？
• RQ3 連携モデルに参加することでクライアントが得る具体的な利点は何か？ そして、その利点はどのように定量的に測定できるか？
• RQ4 異なるデータ部分空間次元数の下で、データが乏しいクライアントとデータが豊富なクライアントにおける連携利得に有意な差が生じるか？
• RQ5 多項式回帰のような非線形関数フィッティングにおいて、FedAvgおよびFedProxがほぼ最小最大最適誤差率を達成できるか？

主な発見

• FedAvgおよびFedProxは、経験的ノルムおよびRKHSノルムの両方で推定誤差が $1/t$ のレートで減少し、有限ランクカーネルでは指数的減少を示す。
• 特定の非均質的設定下では、推定誤差の上界が最小最大最適レートと一致しており、統計的効率性を示している。
• 非均質性が中程度の状況下では、データが乏しいクライアントの連携利得が顕著に高く、モデル共有による強力な利点が確認された。
• データが乏しいクライアントでは、部分空間次元 $r$ が $r \approx 27$ に達するまで連携利得が増加し、その後安定化する傾向を示しており、これはデータカバレッジにおけるコインコレクション効果を反映している。
• データが豊富なクライアントでは、連携利得は当初増加するが、$r$ が100に近づくと減少する傾向を示し、これは強いローカルモデル性能に起因する。
• 多項式回帰において、FedAvgおよびFedProxはほぼ最適な推定レートを達成しており、逆数誤差がほぼ直線的になることから、$O(1/N)$ の収束が確認された。