[論文レビュー] FLIX: A Simple and Communication-Efficient Alternative to Local Methods in Federated Learning

Elnur Gasanov, Ahmed Khaled+2 more|arXiv (Cornell University)|Nov 22, 2021

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

FLIXは、ローカルアップデートを置き換える、クライアント固有のパーソナライゼーションパラメータを用いた新しい有限和最適化定式化を用いる通信効率の良いフェデレーテッドラーニングフレームワークを提案する。局所的に計算されたモデル状態とスマートな初期化を活用することで、FLIXはローカル手法と同等のパフォーマンスを達成しながら、標準的な分散最適化と適応的通信制御を可能にし、多様なデータセットを用いた広範な実験で検証された。

ABSTRACT

Federated Learning (FL) is an increasingly popular machine learning paradigm in which multiple nodes try to collaboratively learn under privacy, communication and multiple heterogeneity constraints. A persistent problem in federated learning is that it is not clear what the optimization objective should be: the standard average risk minimization of supervised learning is inadequate in handling several major constraints specific to federated learning, such as communication adaptivity and personalization control. We identify several key desiderata in frameworks for federated learning and introduce a new framework, FLIX, that takes into account the unique challenges brought by federated learning. FLIX has a standard finite-sum form, which enables practitioners to tap into the immense wealth of existing (potentially non-local) methods for distributed optimization. Through a smart initialization that does not require any communication, FLIX does not require the use of local steps but is still provably capable of performing dissimilarity regularization on par with local methods. We give several algorithms for solving the FLIX formulation efficiently under communication constraints. Finally, we corroborate our theoretical results with extensive experimentation.

研究の動機と目的

• 標準的なフェデレーテッドラーニングにおける限界に対処する。特に、平均リスク最小化は通信制約とパーソナライゼーションのニーズに対応できない。
• 通信効率性とクライアント固有のモデルパーソナライゼーションの両方をサポートする柔軟な最適化フレームワークを開発する。
• ローカルステップを必要とせずに、既存の非ローカル分散最適化手法をフェデレーテッド環境で使用可能にする。
• 標準的な滑らかさと凸性の仮定の下で収束に対する理論的保証を提供する。
• 非均質なデータ環境下で、ローカル手法およびメタラーニングベースラインと比較して、実験的に優れた性能を示す。

提案手法

• フェデレーテッドラーニングを有限和問題として定式化する：$\tilde{f}(x) = \frac{1}{n}\sum_{i=1}^{n} f_i(\alpha_i x + (1 - \alpha_i)x_i)$、ここで$x_i$はクライアント$i$の損失関数の局所的最小解である。
• $\alpha_i \in [0,1]$を調整可能なパーソナライゼーションパラメータとして用い、各クライアントの最終モデルにおけるグローバルモデルとローカルモデルの影響を制御する。
• 通信を伴わずに$x_i$を局所的に計算することで、通信効率の良い初期化を実現する。
• クライアント$i$に最終モデルを$T_i(x_*) = \alpha_i x_* + (1 - \alpha_i)x_i$としてデプロイすることで、パーソナライズドな一般化を可能にする。
• 通信制約下で、標準的な分散最適化手法（例：GD, CGD, DIANA）をFLIX定式化に適用する。
• 元の$f_i$の滑らかさと凸性が変換後の$\tilde{f}$でも保たれることで、理論的収束保証を確保する。

実験結果

リサーチクエスチョン

• RQ1 ローカルアップデートを回避しながらも、ローカル手法と同等のパフォーマンスを達成できるフェデレーテッドラーニングフレームワークを設計できるか？
• RQ2 フェデレーテッドラーニングにおいて、通信効率性とパーソナライゼーションを同時に最適化できるか？
• RQ3 標準的な分散最適化手法を、FLにおける新しい有限和定式化に効果的に適用できるか？
• RQ4 パーソナライゼーションパラメータ$\alpha_i$が、非均質なデータ環境下での収束性と一般化性能に与える影響は何か？
• RQ5 通信コストとテスト精度の観点から、FLIXはFedAvg、FOMAML、Reptileと比較してどのように差をつけるか？

主な発見

• FLIXは、いかなるローカル最適化ステップを必要とせずに、ローカル手法と同等の一般化性能を達成する。
• このフレームワークは通信効率の良い学習を可能にする：$\alpha_i = 0$の場合、クライアント$i$に最終モデルをデプロイするために通信は一切不要である。
• グリッドサーチの結果、より小さい$\alpha_i$値では最適な一般化を達成するためにはより大きなステップサイズが必要であることが判明し、理論的収束解析と整合的である。
• EMNISTおよびShakespeareデータセットにおいて、$\alpha = 0.3$および$\alpha = 0.5$のFLIXが、比較されたすべての手法の中で最高のテスト精度を達成した。
• ロジスティック回帰の実験では、特に浮動小数点演算数で測定した通信コストの観点から、FLIXがGDおよびDIANAを上回った。
• 理論的解析により、$f_i$の滑らかさと凸性が$\tilde{f}$でも保たれることを確認し、標準的な最適化手法による高速収束が可能であることが示された。