[論文レビュー] Semi-Synchronous Federated Learning.

Dimitris Stripelis, José Luis Ambite|arXiv (Cornell University)|Feb 4, 2021

Privacy-Preserving Technologies in Data参考文献 40被引用数 16

ひとこと要約

本稿では、通信効率と収束速度のバランスをとるため、最小限の停止時間で局所モデルを定期的に同期する半同期型フェデレーテッドラーニング（SSFL）プロトコルを提案する。非同期手法よりも高速に収束し、同期手法よりも優れた通信効率を達成しており、データおよび計算の非均一性が顕著な環境において、先行する手法を著しく上回る性能を発揮する。

ABSTRACT

There are situations where data relevant to a machine learning problem are distributed among multiple locations that cannot share the data due to regulatory, competitiveness, or privacy reasons. For example, data present in users' cellphones, manufacturing data of companies in a given industrial sector, or medical records located at different hospitals. Federated Learning (FL) provides an approach to learn a joint model over all the available data across silos. In many cases, participating sites have different data distributions and computational capabilities. In these heterogeneous environments previous approaches exhibit poor performance: synchronous FL protocols are communication efficient, but have slow learning convergence; conversely, asynchronous FL protocols have faster convergence, but at a higher communication cost. Here we introduce a novel Semi-Synchronous Federated Learning protocol that mixes local models periodically with minimal idle time and fast convergence. We show through extensive experiments that our approach significantly outperforms previous work in data and computationally heterogeneous environments.

研究の動機と目的

• データおよび計算の非均一性が生じる環境下における、通信効率と収束速度のトレードオフを解消すること。
• 同期化中の停止時間を最小限に抑えるとともに、高い通信効率を維持するフェデレーテッドラーニングプロトコルの設計。
• クライアントが異なるデータ分布および計算能力を持つ実世界のシナリオにおいて、モデルの収束を改善すること。
• 同期型FL（効率的だが遅い）と非同期型FL（高速だがコストがかかる）の間のギャップを、ハイブリッドアプローチによって埋めること。

提案手法

• プロトコルは、周期的なグローバルモデルの集約と局所学習フェーズを組み合わせたハイブリッド同期戦略を採用し、停止時間を削減する。
• クライアントは、固定回数のラウンドにわたり局所的に学習した後、更新されたモデルを中央サーバーと同期する。
• システムはクライアント参加を動的に管理することで、遅延の原因となる遅いまたは応答のないクライアントの影響を軽減する。
• 同期は定期的に行われ、常に一部のクライアントのみがアクティブになるようにすることで、停止時間を最小限に抑える。
• アーキテクチャは中央サーバーを介してモデルの集約と配布を統一管理し、クライアント間での一貫性を維持する。
• クライアント選定は、利用可能性と計算能力に基づき、学習効率と収束速度を最適化する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングは、非均一な環境下で、どのようにして通信オーバーヘッドを低く抑えつつ、より高速に収束を達成できるか？
• RQ2 計算能力にばらつきのあるフェデレーテッドラーニング環境において、どの同期戦略が停止時間を最小限に抑え、学習効率を向上させられるか？
• RQ3 同期型と非同期型FLのハイブリッドアプローチは、収束速度と通信コストの両面で、両者を上回ることができるか？
• RQ4 半同期型同期を用いる場合、データおよび計算の非均一性がモデル性能にどのように影響するか？
• RQ5 どのクライアント選定戦略と同期頻度が、学習効率とモデル精度を最大化するか？

主な発見

• 提案された半同期型フェデレーテッドラーニングプロトコルは、非均一な環境下で、完全に非同期な手法よりも著しく高速に収束を達成する。
• 通信コストは非同期FLほど高くなく、同期プロトコルに近い効率性を達成する。
• 従来の手法よりもクライアント参加の調整を的確に行うことで、同期中の停止時間を顕著に削減する。
• より頻繁で安定したグローバルモデルの更新により、多様なデータ分布においてモデル精度が向上する。
• クライアントの計算能力にばらつきがあっても、同期型および非同期型のベースラインを上回る頑健な性能を示す。
• 一部のクライアントが遅延するか、一時的に利用不能であっても、高い学習効率を維持する。