[論文レビュー] Convergence Analysis of Sequential Federated Learning on Heterogeneous Data

Yipeng Li, Xinchen Lyu|arXiv (Cornell University)|Nov 6, 2023

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

本稿は、非同一データに対して逐次フェデレーテッドラーニング（SFL）の最初の収束解析を確立し、強い一般性と非凸な目的関数下でSFLが並列FL（PFL）よりも優れた収束を達成することを証明している。解析により、極端なデータ非同一性を示すクロスデバイス環境下でSFLがPFLを上回ることが判明し、CIFAR-10およびCINIC-10において最大10%高いテスト精度を示す実験で裏付けられている。

ABSTRACT

There are two categories of methods in Federated Learning (FL) for joint training across multiple clients: i) parallel FL (PFL), where clients train models in a parallel manner; and ii) sequential FL (SFL), where clients train models in a sequential manner. In contrast to that of PFL, the convergence theory of SFL on heterogeneous data is still lacking. In this paper, we establish the convergence guarantees of SFL for strongly/general/non-convex objectives on heterogeneous data. The convergence guarantees of SFL are better than that of PFL on heterogeneous data with both full and partial client participation. Experimental results validate the counterintuitive analysis result that SFL outperforms PFL on extremely heterogeneous data in cross-device settings.

研究の動機と目的

• 非同一データにおける逐次フェデレーテッドラーニング（SFL）の収束保証を確立することで、理論的理解のギャップを埋める。
• データ非同一性を伴う強い一般性と非凸な目的関数下で、SFLと並列FL（PFL）の収束性能を比較する。
• SFLが極端なデータ非同一性の状況でPFLを上回るという経験的観察に理論的根拠を与える。
• 収束結果の適用範囲を拡張し、スプリットラーニング（SL）に対しても適用可能であることを示す。

提案手法

• 非同一データ下でのSFLに向けた新しい収束解析フレームワークを提案し、強く凸、一般凸、非凸の目的関数をカバーする。
• 各クライアントが直前のクライアントからの最新パラメータを初期化として用い、パラメータを順次伝達する逐次更新ルールを採用。各クライアントはK回の局所的SGDステップを実行後、パラメータを次に渡す。
• 勾配のリプシッツ連続性、分散の有界性、クライアントのデータ非同一性（局所勾配とグローバル勾配の乖離度で測定）を仮定し、収束バウンドを導出する。
• 完全参加と部分参加の両状況に適用し、SFLがPFLに比べてよりタイトな収束レートを示すことを示した。
• 理論フレームワークがスプリットラーニング（SL）に対しても適用可能であることを示し、エッジAIシステムへの応用可能性を拡張した。
• 最終的なモデル集約に重み付き平均化戦略を採用し、導出されたバウンド下で定常点への収束を保証した。

実験結果

リサーチクエスチョン

• RQ1 強い凸な目的関数下で、非同一データに対して逐次FL（SFL）は並列FL（PFL）よりも優れた収束を達成するか？
• RQ2 一般および非凸な目的関数下で、データ非同一性を伴うSFLはPFLに比べてどのように性能を発揮するか？
• RQ3 非同一設定下で、完全および部分的クライアント参加状況下でのSFLの理論的収束レートは何か？
• RQ4 SFLの収束理論は、スプリットラーニング（SL）のような他の分散学習パラダイムへも拡張可能か？
• RQ5 非同一データが極端に強い状況下でSFLがPFLを上回る理由は何か？（先行研究では明示的な理論的根拠が欠如していた。）

主な発見

• SFLは、強く凸、一般凸、非凸のすべての目的関数タイプにおいて、非同一データ下でPFLよりも優れた収束保証を達成する。
• 極端なデータ非同一性を示すクロスデバイス環境下では、SFLがPFLを上回り、完全クライアント参加下でCIFAR-10およびCINIC-10において最大10%高いテスト精度を達成する。
• MNISTおよびFMNISTでは、すべての設定でSFLがPFLを上回る高いテスト精度を達成し、MLPおよびLeNet-5モデルでは高非同一性下で1–2%の改善を示す。
• CIFAR-10におけるVGG-9では、K=5およびC=2の条件下でSFLが82.56%のテスト精度（PFLは78.42%）を達成し、4.14%の改善を示した。
• CINIC-10におけるResNet-18では、C=2およびK=5の条件下でSFLが64.17%のテスト精度（PFLは57.70%）を達成し、6.47%の改善を示した。これは極端な非同一性下での優れた性能を確認するものである。
• 収束解析により、SFLが逐次的パラメータ伝達のおかげでクライアントドリフトをPFLよりも効果的に抑制し、非i.i.d.データ下でも学習を安定化させることを確認した。