[論文レビュー] ProgFed: Effective, Communication, and Computation Efficient Federated Learning by Progressive Training

Hui‐Po Wang, Sebastian U. Stich+2 more|arXiv (Cornell University)|Oct 11, 2021

Privacy-Preserving Technologies in Data参考文献 28被引用数 13

ひとこと要約

ProgFedは、完全なモデルに拡張する前に段階的に浅いサブモデルを訓練する、新しいフェデレーテッドラーニングフレームワークを提案する。これにより、計算コストと双方向通信コストの両方を削減できる。標準的な訓練と比較して、通信コストを最大63%、計算コストを20%削減しながら、モデルの性能を維持できる。また、圧縮技術と組み合わせることで、通信コストを最大50倍まで削減可能である。

ABSTRACT

Federated learning is a powerful distributed learning scheme that allows numerous edge devices to collaboratively train a model without sharing their data. However, training is resource-intensive for edge devices, and limited network bandwidth is often the main bottleneck. Prior work often overcomes the constraints by condensing the models or messages into compact formats, e.g., by gradient compression or distillation. In contrast, we propose ProgFed, the first progressive training framework for efficient and effective federated learning. It inherently reduces computation and two-way communication costs while maintaining the strong performance of the final models. We theoretically prove that ProgFed converges at the same asymptotic rate as standard training on full models. Extensive results on a broad range of architectures, including CNNs (VGG, ResNet, ConvNets) and U-nets, and diverse tasks from simple classification to medical image segmentation show that our highly effective training approach saves up to $20\%$ computation and up to $63\%$ communication costs for converged models. As our approach is also complimentary to prior work on compression, we can achieve a wide range of trade-offs by combining these techniques, showing reduced communication of up to $50 imes$ at only $0.1\%$ loss in utility. Code is available at https://github.com/hui-po-wang/ProgFed.

研究の動機と目的

• モデルの性能を損なわせることなく、フェデレーテッドラーニングにおける通信コストと計算コストを削減すること。
• 集中学習で一般的な段階的学習をフェデレーテッド環境に適用し、効率性を向上させること。
• 完全モデル訓練と同等の収束速度を維持しながら、1イテレーションあたりのリソース要求を低減するフレームワークを設計すること。
• 既存の圧縮技術や最適化手法（FL内）と互換性を持つこと。
• 任意の訓練段階で高い有用性を持つ「いつでも学習可能」な学習を可能にすること。

提案手法

• ProgFedは、重なり合う、段階的に拡大するサブモデルにモデルを分割し、浅い層から開始する。
• 段階的学習フェーズ中に各サブモデルをガイドするための軽量な局所的スーパvisedヘッドを導入する。
• 訓練は最も浅いサブモデルから完全モデルへと段階的に進行し、徐々にモデルの能力を拡大する。
• 理論的に、標準的な完全モデル訓練と同等の漸近的収束速度を保証する。
• より小さなサブモデルであるため、クライアントとサーバー間のデータ交換量が少なくなるため、双方向通信コストの削減が可能である。
• 古典的圧縮（例：量子化、スパarsification）およびFL最適化アルゴリズム（例：FedAvg、FedProx、FedAdam）と両立可能である。

実験結果

リサーチクエスチョン

• RQ1 フェデレーテッドラーニングにおける段階的訓練は、モデル性能を損なわず、通信コストと計算コストの両方を削減できるか？
• RQ2 FLにおける段階的訓練は、標準的な完全モデル訓練と同等の収束速度を維持するか？
• RQ3 異なるタスクやアーキテクチャにおいて、帯域制限や計算制限の下でProgFedはどのように性能を発揮するか？
• RQ4 ProgFedは、既存の圧縮技術や最適化手法と効果的に組み合わせられるか？
• RQ5 段階的訓練は、任意の訓練段階で有用なモデルを提供する「いつでも学習可能」な性能を実現するか？

主な発見

• フェデレーテッドセグメンテーションタスクにおいて、標準的な訓練と比較して、ProgFedは計算コストを最大20%、双方向通信コストを最大63%削減した。
• フェデレーテッド分類タスクでは、同じエポック数で通信コストを最大32%、計算コストを最大25%削減した。
• 圧縮技術と組み合わせることで、通信コストを最大50倍まで削減でき、モデルの有用性はわずか0.1%の損失にとどまった。
• ランダムなサブモデル選択やレイヤーワイズ微調整と比較して、ProgFedは優れた性能を示し、最適なパフォーマンスを得るためには段階的訓練が不可欠であることを示した。
• FedAdamのような高度な最適化手法と組み合わせた場合、標準的な訓練より最大4%高い正確性を達成した。
• 学習曲線の下側面積が、ベースラインと比較して一貫して大きく、優れた「いつでも学習可能」な性能を示している。