[論文レビュー] FedSAE: A Novel Self-Adaptive Federated Learning Framework in Heterogeneous Systems

Li Li, Moming Duan+6 more|arXiv (Cornell University)|Apr 15, 2021

Privacy-Preserving Technologies in Data参考文献 39被引用数 4

ひとこと要約

FedSAEは、歴史的な学習パフォーマンスに基づいてクライアントのワークロードを動的に調整し、高価値のクライアントをアクティブラーニングで選択する自己適応型フェデレーテッドラーニングフレームワークを提案する。これにより、異種環境下でのストレグラーの削減とグローバルモデルの精度向上が顕著に実現され、FedAvgと比較して平均で26.7%高いテスト精度と90.3%低いドロップアウト率を達成した。

ABSTRACT

Federated Learning (FL) is a novel distributed machine learning which allows thousands of edge devices to train model locally without uploading data concentrically to the server. But since real federated settings are resource-constrained, FL is encountered with systems heterogeneity which causes a lot of stragglers directly and then leads to significantly accuracy reduction indirectly. To solve the problems caused by systems heterogeneity, we introduce a novel self-adaptive federated framework FedSAE which adjusts the training task of devices automatically and selects participants actively to alleviate the performance degradation. In this work, we 1) propose FedSAE which leverages the complete information of devices' historical training tasks to predict the affordable training workloads for each device. In this way, FedSAE can estimate the reliability of each device and self-adaptively adjust the amount of training load per client in each round. 2) combine our framework with Active Learning to self-adaptively select participants. Then the framework accelerates the convergence of the global model. In our framework, the server evaluates devices' value of training based on their training loss. Then the server selects those clients with bigger value for the global model to reduce communication overhead. The experimental result indicates that in a highly heterogeneous system, FedSAE converges faster than FedAvg, the vanilla FL framework. Furthermore, FedSAE outperforms than FedAvg on several federated datasets - FedSAE improves test accuracy by 26.7% and reduces stragglers by 90.3% on average.

研究の動機と目的

• デバイスのリソース差がストレグラーを引き起こし収束が遅くなるという、システムの異種性に起因する性能劣化を是正すること。
• 公表された学習履歴のみを活用することで、機密なハードウェア情報の収集を避けるプライバシー保護型手法を開発すること。
• 歴史的な学習の信頼性とパフォーマンスに基づいて、クライアントごとに自己適応型のワークロード割り当てを可能にすること。
• 高価値のクライアントの選択を統合することで、グローバルモデルの収束を加速すること。
• 動的クライアント能力を有する現実世界のフェデレーテッド環境において、モデル精度の向上と通信オーバーヘッドの低減を実現すること。

提案手法

• クライアントごとの許容可能なトレーニングワークロードを歴史的学習データを用いて予測する、自己適応型の2つのアルゴリズム、FedSAE-Ira と FedSAE-Fassa を提案する。
• 過去のトレーニング損失と収束パターンを組み込んだ移動平均ベースのワークロード予測モデルを用い、クライアントの信頼性を推定する。
• アクティブラーニングに基づく動的クライアント選択メカニズムを導入し、より低い損失（高い学習価値）を持つクライアントを選択することで、グローバルモデルの品質を向上させる。
• ワークロード予測の精度と適応性を調整するため、滑らかさの指標 α = 0.95 および増分パラメータ γ₁ = 3、γ₂ = 1 を使用する。
• ワークロード予測とアクティブラーニングを統合し、同時にストレグラーの削減と収束の加速を実現する。
• プライベートなデバイス仕様に依存せず、完全に公開された学習履歴のみを活用するため、プライバシー保護が保証される。

実験結果

リサーチクエスチョン

• RQ1 プライベートなハードウェア情報に依存せずに、異種クライアントに動的にトレーニングワークロードを適応させる方法は何か？
• RQ2 歴史的学習パフォーマンスに基づくワークロード予測が、フェデレーテッドラーニングにおけるストレグラー率をどの程度低減できるか？
• RQ3 ワークロード適応とアクティブラーニングを統合することで、グローバルモデルの収束を加速させつつ高い精度を維持できるか？
• RQ4 高いシステム異種性下で、提案された自己適応型フレームワークは FedAvg と比較して、精度と学習効率の面でどの程度優れているか？
• RQ5 クライアント選択段階でアクティブラーニングを用いる際、収束速度と最終的なモデル精度の最適なバランスは何か？

主な発見

• FedSAEは、複数のフェデレーテッドデータセットにおいて、FedAvgと比較して平均で26.7%高い絶対的テスト精度を達成した。
• このフレームワークは、平均で90.3%低いストレグラー率を実現し、遅延クライアントに起因する性能劣化を顕著に緩和した。
• FedSAE-Fassa は、歴史的学習パターンのより良い活用により、ストレグラーを96.3%低減し、FedSAE-Ira を上回る性能を示した。
• アクティブラーニングの統合により、収束が平均で少なくとも23.5%高速化され、FedSAE-Ira+AL200 が最も速い収束速度を達成した。
• アクティブラーニングの使用は、最終的な精度をわずかに低下させる（FEMNISTでは最大2.3%、MNISTでは0.7%）傾向にあり、速度と精度のトレードオフが示された。
• FEMNISTでは、FedSAE-Ira+AL200 が48ラウンドで60%のテスト精度に到達したのに対し、FedAvg は E=15 で30ラウンドで同程度の精度に到達した。これは、収束が著しく速いことを示している。