[論文レビュー] Adaptive Control of Client Selection and Gradient Compression for Efficient Federated Learning

Zhida Jiang, Yang Xu+3 more|arXiv (Cornell University)|Dec 19, 2022

Privacy-Preserving Technologies in Data被引用数 7

ひとこと要約

本稿では、通信効率と収束速度を向上させるために、適応的クライアント選択と動的勾配圧縮を共同で最適化する、非均質性に配慮したフェデレーテッドラーニングフレームワークであるFedCGを提案する。サブモジュラー最大化と線形計画法を活用することで、精度を損なわず、動的かつ非均質な環境下でベースライン比最大5.3倍の高速化を達成する。

ABSTRACT

Federated learning (FL) allows multiple clients cooperatively train models without disclosing local data. However, the existing works fail to address all these practical concerns in FL: limited communication resources, dynamic network conditions and heterogeneous client properties, which slow down the convergence of FL. To tackle the above challenges, we propose a heterogeneity-aware FL framework, called FedCG, with adaptive client selection and gradient compression. Specifically, the parameter server (PS) selects a representative client subset considering statistical heterogeneity and sends the global model to them. After local training, these selected clients upload compressed model updates matching their capabilities to the PS for aggregation, which significantly alleviates the communication load and mitigates the straggler effect. We theoretically analyze the impact of both client selection and gradient compression on convergence performance. Guided by the derived convergence rate, we develop an iteration-based algorithm to jointly optimize client selection and compression ratio decision using submodular maximization and linear programming. Extensive experiments on both real-world prototypes and simulations show that FedCG can provide up to 5.3$ imes$ speedup compared to other methods.

研究の動機と目的

• 通信効率、ネットワークの動的変化、クライアントの非均質性を同時に処理できない既存のフェデレーテッドラーニング手法の限界を解決すること。
• 帯域制限や変動するクライアント能力といった現実世界の制約下でも、収束速度を向上させ、トレーニング時間を短縮すること。
• 時間変動するクライアントの能力とデータ非独立同分布（non-IID）性に基づいて、代表的なクライアントを適応的に選択し、最適な圧縮レートを割り当てるフレームワークを開発すること。
• 多様なクライアント選択により、非独立同分布データに起因する偏りを軽減することで、公平性とモデル品質を確保すること。
• クライアント選択と圧縮率の共同最適化戦略を設計し、独立的または単純な組み合わせ手法を上回ること。

提案手法

• サブモジュラー最大化を用いて、冗長性を最小限に抑え、代表的な勾配情報を提供する多様なクライアントのサブセットを選択し、収束を向上させる。
• 線形計画法を用いて、個々のクライアントの計算能力と通信能力に基づき、最適な圧縮レートを決定する。
• 各トレーニングラウンドで、時間変動するネットワーク状態とクライアントの非均質性に適応するため、クライアント選択と圧縮レートを動的に調整する。
• 理論的収束速度解析を指針として、イテレーションベースの統合最適化フレームワーク内でクライアント選択と勾配圧縮の意思決定を統合する。
• パラメータサーバーで圧縮されたモデル更新を集約し、次のグローバルモデルを形成することで、通信オーバーヘッドを低減しながら精度を維持する。
• クライアント選択と圧縮率の共同最適化問題を、収束速度、通信コスト、モデル品質のバランスを取る制約付き最大化タスクとして定式化する。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおける通信効率と収束速度を向上させるために、クライアント選択と勾配圧縮をどのように共同最適化できるか。
• RQ2 適応的クライアント選択と可変圧縮レートが、フェデレーテッドラーニングの収束速度に与える理論的影響は何か。
• RQ3 動的かつ非均質な環境下で、クライアント選択と圧縮の共同最適化は、独立的または単純な組み合わせ手法と比べてどのように優れているか。
• RQ4 適応的クライアント選択と圧縮は、非独立同分布データ環境下で、通信負荷をどの程度低減しつつモデル精度を維持できるか。
• RQ5 提案フレームワークは、変化するクライアントの能力とネットワーク状態に動的に適応でき、固定レートまたは静的選択手法を上回る性能を発揮できるか。

主な発見

• FedCGは、FedAvg、OptRate、FlexCom、AdaSampleといったベースライン手法と比較して、大規模なフェデレーテッドラーニング環境下で最大5.3倍の高速化を達成する。
• AlexNetを用いたCIFAR-10では、FedCGは5,170秒で70%の精度に到達するが、FedAvgは22,009秒を要し、4.3倍の高速化を示す。
• 選択クライアント数が異なる状況下で、ベンチマークと比較してネットワークトラフィック消費量を11.2–82.4%まで削減する。
• 共同最適化アルゴリズムの意思決定オーバーヘッドは最大1.2秒にとどまり、トレーニング時間や送信時間と比較して無視できる。
• CIFAR-10のAlexNetでは、独立的決定や単純な組み合わせ手法と比較して、FedCGは1.4–4.1倍速く収束し、CIFAR-100のResNet9でも1.5–4.5倍速く収束する。
• 理論的分析により、クライアント選択と圧縮率の共同最適化が、遅延クライアントの影響とデータの偏りを軽減することで、収束性能を顕著に向上させることを確認した。