[論文レビュー] Resource-Efficient Federated Learning

Ahmed M. Abdelmoniem, Atal Narayan Sahu+2 more|arXiv (Cornell University)|Nov 1, 2021

Privacy-Preserving Technologies in Data参考文献 41被引用数 6

ひとこと要約

本稿では、予測された利用可能性に基づいて参加者を知的に選択し、遅延者からの更新を統合することで、計算リソースの無駄を減らしながらモデル品質を向上させるリソース効率の良いフェデレーテッドラーニングフレームワークであるREFLを提案する。更新収集と集約を分離し、利用可能で高利活用度の参加者を優先することで、REFLは最小限のトレーニング時間の影響で、収束性とシステム効率を向上させる。

ABSTRACT

Federated Learning (FL) enables distributed training by learners using local data, thereby enhancing privacy and reducing communication. However, it presents numerous challenges relating to the heterogeneity of the data distribution, device capabilities, and participant availability as deployments scale, which can impact both model convergence and bias. Existing FL schemes use random participant selection to improve fairness; however, this can result in inefficient use of resources and lower quality training. In this work, we systematically address the question of resource efficiency in FL, showing the benefits of intelligent participant selection, and incorporation of updates from straggling participants. We demonstrate how these factors enable resource efficiency while also improving trained model quality.

研究の動機と目的

• デバイスの非均質性と利用可能性の変動による、破棄される更新と未利用の参加者に起因するフェデレーテッドラーニングにおけるリソースの無駄を解消すること。
• トレーニングの締切後にも完了する遅延者からの更新を統合することで、モデルの収束性とシステム効率を向上させること。
• 非均質なFL環境において、時間に対する正確さやモデル品質を損なわずにリソース効率を向上させること。
• 将来の利用可能性を予測し、後続ラウンドで利用可能になる可能性が最も低い参加者を優先する参加者選択戦略を導入すること。
• 既存のFLシステムおよびプライバシー保護技術（例：セキュアアグリゲーション、微分プライバシー）と互換性を持つプラグイン対応のフレームワークを設計すること。

提案手法

• 更新収集フェーズとモデル集約を分離することで、遅延者からの更新を非同期で統合できるようにする。
• 将来の利用可能性を予測し、利用可能性確率が低い参加者を優先することで、長期的なリソース活用を最大化する。
• 参加者の利用可能性を推定する予測モデルを用い、以降のラウンドで利用可能になる可能性が低い学習者を優先する。
• システム効率（迅速な完了）と統計的有用性（高品質な更新）の両方をバランスさせるハイブリッド選択戦略を採用する。
• 既存のFLフレームワークおよびプライバシー保護メカニズム（例：セキュアアグリゲーション、微分プライバシー）との統合をサポートする。
• 更新を時間経過とともに収集し、設定可能なウィンドウ後にのみ集約するラウンドベースのトレーニングサイクルを採用することで、遅れてはいるが有用な貢献を可能にする。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおける参加者選択を最適化することで、リソースの無駄を減らしつつモデル品質を維持できるか？
• RQ2 遅延者からの更新を統合することで、モデルの収束性とシステム効率はどの程度向上するか？
• RQ3 参加者の利用可能性を予測することは、フェデレーテッドラーニングシステム全体のリソース効率にどのような影響を与えるか？
• RQ4 更新収集と集約を分離したパイプラインは、利用可能な計算リソースの活用度を向上させられるか？
• RQ5 データの非均質性に対する耐性を考慮すると、REFLは既存の参加者選択戦略と比較して収束速度、リソース使用量、および耐性の面で優れているか？

主な発見

• REFLは、ベースラインのランダム選択戦略と比較して、リソースの無駄を最大40％まで削減し、生産性の低い参加者への過剰なコミットを回避することで実現される。
• 複数のベンチマークデータセットにおいて、平均で12％のモデル精度向上を達成しており、合計トレーニング計算量を20％削減しても同様の結果を示す。
• 遅延者からの更新を統合することで、遅延更新を破棄するシステムと比較して収束速度が15％向上する。
• 予測された利用可能性に基づく参加者選択は、ハードウェア速度やデータ品質のみに基づく選択と比較して、利用可能なデバイスの有効活用率を30％向上させる。
• REFLは、ベースラインシステムと比較して時間に対する正確さを5％以内に保ちながら、合計計算コストを顕著に削減する。
• フレームワークは、微分プライバシーやセキュアアグリゲーションを含む既存のプライバシー保護技術と互換性があり、性能劣化なしに統合可能である。