[論文レビュー] FedHM: Efficient Federated Learning for Heterogeneous Models via Low-rank Factorization

Dezhong Yao, Wanning Pan+5 more|arXiv (Cornell University)|Nov 29, 2021

Privacy-Preserving Technologies in Data被引用数 13

ひとこと要約

FedHMは、特異値分解（SVD）を用いた低ランク因子分解によるグローバルモデルの圧縮を通じて、異なる計算能力を持つ異種モデルの効率的学習を可能にする、新しいフェデレーテッドラーニングフレームワークを提案する。本手法は、多様なモデルサイズや通信設定において優れた性能と頑健性を達成しており、理論的収束保証と顕著な通信コスト削減を実現する。

ABSTRACT

One underlying assumption of recent federated learning (FL) paradigms is that all local models usually share the same network architecture and size, which becomes impractical for devices with different hardware resources. A scalable federated learning framework should address the heterogeneity that clients have different computing capacities and communication capabilities. To this end, this paper proposes FedHM, a novel heterogeneous federated model compression framework, distributing the heterogeneous low-rank models to clients and then aggregating them into a full-rank model. Our solution enables the training of heterogeneous models with varying computational complexities and aggregates them into a single global model. Furthermore, FedHM significantly reduces the communication cost by using low-rank models. Extensive experimental results demonstrate that FedHM is superior in the performance and robustness of models of different sizes, compared with state-of-the-art heterogeneous FL methods under various FL settings. Additionally, the convergence guarantee of FL for heterogeneous devices is first theoretically analyzed.

研究の動機と目的

• クライアントが異なる計算能力および通信能力を持つフェデレーテッドラーニングにおけるシステム的・モデル的非均質性の課題に対処すること。
• HeteroFL や Split-Mix などの既存手法が、小規模モデルにおいて性能が低く、収束保証がないという制限を克服すること。
• 異なるサイズと複雑さを持つ異種モデルの効果的なトレーニングとアグリゲーションを可能にし、モデル容量を維持すること。
• 通信オーバーヘッドを低減するため、低ランク圧縮モデルをクライアントに配布し、データ転送量を最小限に抑えること。
• 非均質なデバイスおよびモデル設定下でのフェデレーテッドラーニングに対して理論的収束保証を提供すること。

提案手法

• サーバー側で特異値分解（SVD）を用いてフルランクグローバルモデルを低ランク因子分解モデルに圧縮し、ハイブリッドネットワーク構造を通じてモデル容量を保持する。
• クライアントのハードウェア能力に応じて、圧縮された低ランクモデルを配布し、リソース制限のあるデバイスでも効率的なローカルトレーニングを可能にする。
• マトリクス回復技術を用いて、サーバー側で低ランク因子分解されたローカルモデルからフルランクモデルを再構築する。
• 回復されたフルランクモデルを重み付き平均化によりアグリゲートし、グローバルモデルを更新することで、非均質なアーキテクチャ間の互換性を確保する。
• 低ランク因子分解と構造的プルーニング（SI および FD）を統合し、一般化性能を向上させ、過学習を防止する正則化効果を実現する。
• 小規模モデルの性能が、大きなモデルと組み合わせられても低下しないように、性能を維持する新しいアグリゲーション戦略を適用する。

実験結果

リサーチクエスチョン

• RQ1 低ランク因子分解は、フェデレーテッドラーニングにおける深層ニューラルネットワークの圧縮を効果的に行い、非均質なクライアント間でモデル性能を維持できるか？
• RQ2 HeteroFL や Split-Mix などの最先端の異種FL手法と比較して、FedHMは精度、頑健性、通信効率の面でどのように優れているか？
• RQ3 提案手法は、モデルおよびシステムの非均質性が存在する状況でも理論的収束保証を提供できるか？
• RQ4 ハイブリッドアーキテクチャを用いた低ランク圧縮は、均一な幅プルーニングに比べて、モデル精度およびパラメータ効率の面でどの程度優れているか？
• RQ5 FedHMは、非IIDデータ分布および多様なモデルサイズ下で、均質および非均質なFL設定の両方において、どのように性能を発揮するか？

主な発見

• FedHMは、全モデルサイズにおいて最先端の手法を上回るテスト精度を達成し、11.17Mパラメータのグローバルモデルを用いたCIFAR-10のIID条件下で93.50%のTop-1精度を達成した。
• CIFAR-100では、最小の低ランクモデル（3.27Mパラメータ）がIID条件下で71.05%、Non-IID条件下で67.96%の精度を達成し、一部の状況では元のモデルを上回った。
• 通信コストはフルランクモデルと比較して7.8倍から9.0倍まで削減され、計算オーバーヘッドは2.0倍まで低減された。
• ハイブリッドネットワーク構造のおかげで、極度に圧縮されたモデルの性能劣化が防止された。この構造を削除すると、90%から80%未満に精度が低下した。
• FedHMは、異なるモデルの組み合わせに対しても頑健な性能を維持し、小規模モデルが大きなモデルとアグリゲートされても性能の低下を示さなかった。
• FedHMは非均質なデバイス設定下で理論的収束が保証されることを証明した。これは、同種の手法において初の成果である。