[論文レビュー] Asynchronous Federated Learning with Reduced Number of Rounds and with Differential Privacy from Less Aggregated Gaussian Noise

Marten van Dijk, Nhuong V. Nguyen+4 more|arXiv (Cornell University)|Jul 17, 2020

Privacy-Preserving Technologies in Data参考文献 34被引用数 17

ひとこと要約

本稿では、減少するステップサイズと増加する局所的サンプルサイズを用いることで、通信ラウンド数を削減し、集約されたガウスノイズを最小限に抑える非同期フェデレーテッドラーニングアルゴリズムを提案する。この手法により、凸および非凸問題においても高いモデル精度を維持しながら、収束速度が向上し、プライバシーコストが低下する。

ABSTRACT

The feasibility of federated learning is highly constrained by the server-clients infrastructure in terms of network communication. Most newly launched smartphones and IoT devices are equipped with GPUs or sufficient computing hardware to run powerful AI models. However, in case of the original synchronous federated learning, client devices suffer waiting times and regular communication between clients and server is required. This implies more sensitivity to local model training times and irregular or missed updates, hence, less or limited scalability to large numbers of clients and convergence rates measured in real time will suffer. We propose a new algorithm for asynchronous federated learning which eliminates waiting times and reduces overall network communication - we provide rigorous theoretical analysis for strongly convex objective functions and provide simulation results. By adding Gaussian noise we show how our algorithm can be made differentially private -- new theorems show how the aggregated added Gaussian noise is significantly reduced.

研究の動機と目的

• 同期的なクライアント-サーバー同期によるフェデレーテッドラーニングのスケーラビリティと通信ボトルネックの問題に対処すること。
• モデル精度を損なわずにフェデレーテッドラーニングにおける通信ラウンド数を削減すること。
• 強い凸目的関数下での非同期FLに対して理論的収束保証を提供すること。
• モデルの有用性を保ちながら、微分プライバシー機構における集約されたガウスノイズを最小限に抑えること。
• 異種のデバイスとデータを有する現実世界の環境において、効率的でスケーラブルかつプライバシー保護されたFLを実現すること。

提案手法

• クライアントが各ラウンドごとに変動する増加するサンプルサイズで局所的に学習できる非同期フェデレーテッドラーニングフレームワークを導入する。
• 収束を保証するため、減少するステップサイズスキーム（強い凸の場合：η₀/(1+βt)、通常の凸の場合：η₀/(1+β√t)）を採用する。
• 局所勾配にガウスノイズを追加することで微分プライバシーを適用し、理論的分析により従来手法と比較して集約ノイズが低減することを示す。
• Hogwild! をインspired した非同期SGDフレームワークを用い、順序が入れ替わった更新やクライアントの訓練時間のばらつきに耐性を持つ。
• クライアントが各ラウンドでより多くのSGDイテレーションを実行する柔軟な局所訓練スケジューリングを設計し、頻繁なグローバル同期の必要性を低減する。
• 理論的分析は、許容可能な遅延を許容する一般化されたSGD再帰モデルに基づいており、強い凸関数における収束証明を可能にする。

実験結果

リサーチクエスチョン

• RQ1 増加する局所的サンプルサイズを有する非同期フェデレーテッドラーニングは、収束を維持しながら通信ラウンド数を削減できるか？
• RQ2 減少するステップサイズの選択が、非同期FLにおける収束速度とモデル精度に与える影響は何か？
• RQ3 微分プライバシーは、顕著に低減された集約ガウスノイズとともに非同期FLに効果的に適用可能か？
• RQ4 現実世界のフェデレーテッド環境で一般的な偏ったデータ分布下でも、このフレームワークはどのように性能を発揮するか？
• RQ5 非同期FLにおける通信効率、プライバシー予算、モデル精度のトレードオフは何か？

主な発見

• 減少するステップサイズと増加するサンプルサイズを有する提案された非同期FLは、定数ステップサイズベースラインと比較して、より速い収束と少ない通信ラウンドを達成する。
• 強い凸および非凸問題の両方において、同じプライバシー予算下で、定数ステップサイズ方式（例：η=0.01、η=0.001）よりも高い精度を達成する。
• 偏ったデータセット（例：1人のクライアントが0のみ、別のクライアントが1のみを有する）においても、性能が良好に保たれ、データの不均衡に対する耐性を示す。
• （ε,δ）=（1.0, 5.5×10⁻⁸）かつσ=8.0の微分プライバシー下で、集約されたガウスノイズを低減しながら高い精度を維持し、定数パrameter設定を上回る性能を示す。
• 理論的分析により、許容可能な遅延を伴う非同期更新下でも強い凸目的関数に対して収束が保証され、実用的導入の基盤を提供する。
• シミュレーション結果から、増加するサンプルサイズ列s_i,c = 1.322·i + 16（p=1.0）が、少ないラウンド数とより優れたプライバシー-精度トレードオフを実現する有効な訓練を可能にする。