[論文レビュー] Coded Computing for Federated Learning at the Edge

Saurav Prakash, Sagar Dhakal+3 more|arXiv (Cornell University)|Jul 7, 2020

Privacy-Preserving Technologies in Data参考文献 32被引用数 10

ひとこと要約

本稿では、ランダムフォアーリエ特徴量を用いて学習を分散線形回帰に変換することで、非線形回帰および分類タスクにまで拡張されたCoded Federated Learning (CFL) を提案する。クライアントでプライベートなパリティデータを生成し、負荷割り当てを解析的に最適化することで、MNIST において符号化されていないFLに比べ最大2.7倍の高速な収束を達成した。符号化冗長度はわずか10%にとどまる。

ABSTRACT

Federated Learning (FL) is an exciting new paradigm that enables training a global model from data generated locally at the client nodes, without moving client data to a centralized server. Performance of FL in a multi-access edge computing (MEC) network suffers from slow convergence due to heterogeneity and stochastic fluctuations in compute power and communication link qualities across clients. A recent work, Coded Federated Learning (CFL), proposes to mitigate stragglers and speed up training for linear regression tasks by assigning redundant computations at the MEC server. Coding redundancy in CFL is computed by exploiting statistical properties of compute and communication delays. We develop CodedFedL that addresses the difficult task of extending CFL to distributed non-linear regression and classification problems with multioutput labels. The key innovation of our work is to exploit distributed kernel embedding using random Fourier features that transforms the training task into distributed linear regression. We provide an analytical solution for load allocation, and demonstrate significant performance gains for CodedFedL through experiments over benchmark datasets using practical network parameters.

研究の動機と目的

• 非同期アクセスエッジコンピューティング（MEC）ネットワークにおける非均一性に起因する遅延を緩和すること。
• スカラ出力に限定されていたもともとのCoded Federated Learning（CFL）を、一般の非線形および多出力分類／回帰タスクに拡張すること。
• クライアント側でのランダムフォアーリエ特徴量マッピングとパリティデータ生成により、プライバシーを保証した計算冗長性を実現すること。
• 数値最適化を回避するための最適なストレッグル対策のための負荷割り当てポリシーを構築すること。
• 実世界のデータセットを用いて、実際のネットワーク環境下で収束速度の顕著な向上を実証すること。

提案手法

• カーネル近似のためのランダムフォアーリエ特徴量を用いて、非線形学習タスクを分散線形回帰に変換する。
• ランダム特徴量とラベルベクトル（例：ワンホットエンコード）の線形結合を用いて、クライアントで符号化されたパリティデータを生成し、データプライバシーを保持する。
• サーバーで非ストレッグルクライアントの更新と、パリティデータに対する冗長なサーバー側計算を組み合わせる符号化勾配集約戦略を採用する。
• 負荷割り当て問題を期待リターンに関する区分的凹関数最適化として定式化し、凸最適化ツールで解けるようにする。
• ラムゼット・W関数を用いて最適負荷割り当ての閉形式解を導出し、効率的なバイナリサーチベースの最適化を可能にする。
• ストレッグルクライアントを補償するため、サーバー側で符号化冗長度を適用することで、データ共有なしに収束速度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 Coded Federated Learningは、データプライバシーを保持したまま、非線形および多出力学習タスクに拡張可能か？
• RQ2 ランダムフォアーリエ特徴量によるカーネル埋め込みは、非線形モデルへの符号理論的冗長性の適用をどのように可能にするか？
• RQ3 ストレッグルクライアントが存在する状況で、訓練時間を最小化する最適な負荷割り当てポリシーは何か？
• RQ4 数値的手法と比較して、解析的負荷割り当て戦略は収束速度およびスケーラビリティにおいてどのように差をつけるか？
• RQ5 実世界のエッジ学習シナリオにおいて、CodedFedLは符号化されていないFLに比べてどの程度のパフォーマンス向上を達成するか？

主な発見

• CodedFedLは、MNISTデータセットにおいて、符号化されていないベースラインに比べて収束時間を2.7倍高速化した。符号化冗長度はわずか10%にとどまる。
• Fashion-MNISTでは、同じ冗長度条件下で収束時間に2.37倍の高速化を達成した。
• ラムゼット・W関数に基づく解析的負荷割り当てポリシーは、効率的な最適化を可能にし、待機時間とともに単調増加するため、時間経過とともにより高いリターンをもたらす。
• 期待される集約リターン関数は区分的凹関数であり、標準的な凸最適化技術を用いて凸部分問題に分解可能である。
• 最小限の冗長度でも、完全な勾配集約に近い近似を維持することで、CodedFedLは高いモデル精度を維持した。
• 同フレームワークは、非均一なMEC環境におけるストレッグル効果を効果的に緩和し、現実的な無線および計算制約下でも訓練時間を顕著に短縮した。