[論文レビュー] Communication-Efficient Federated Learning with Dual-Side Low-Rank Compression

Zhefeng Qiao, Xianghao Yu+2 more|arXiv (Cornell University)|Apr 26, 2021

Privacy-Preserving Technologies in Data参考文献 15被引用数 12

ひとこと要約

この論文では、クライアントおよび中央サーバーの両方でモデル重みに低ランク圧縮を適用する通信効率の良いフェデレーテッドラーニングフレームワーク、FedDLRを提案する。トレーニング中に通信負荷を低減し、コンactな推論用モデルを生成するために、両側で切り捨て特異値分解（TSVD）を用いてモデルを圧縮することで、最先端の手法よりも高速な収束と低い通信コストを達成する。

ABSTRACT

Federated learning (FL) is a promising and powerful approach for training deep learning models without sharing the raw data of clients. During the training process of FL, the central server and distributed clients need to exchange a vast amount of model information periodically. To address the challenge of communication-intensive training, we propose a new training method, referred to as federated learning with dual-side low-rank compression (FedDLR), where the deep learning model is compressed via low-rank approximations at both the server and client sides. The proposed FedDLR not only reduces the communication overhead during the training stage but also directly generates a compact model to speed up the inference process. We shall provide convergence analysis, investigate the influence of the key parameters, and empirically show that FedDLR outperforms the state-of-the-art solutions in terms of both the communication and computation efficiency.

研究の動機と目的

• クライアントとサーバー間での大規模なモデルパラメータのやり取りに起因するフェデレーテッドラーニングにおける高い通信コストを低減すること。
• 片側圧縮の限界を克服し、ダウンリンク通信や推論遅延を低減できないこと。
• トレーニング中の通信効率と推論中の計算効率を同時に向上させる手法を設計すること。
• 提案された双方向圧縮手法の理論的収束保証を提供すること。
• 最新の圧縮ベースのFL手法と比較して、FedDLRの優位性を実験的に検証すること。

提案手法

• クライアントは局所トレーニングを実行し、アップロード前にモデル重みに切り捨て特異値分解（TSVD）を用いて低ランク圧縮を適用する。
• 中央サーバーは、圧縮されたクライアントモデルを統合し、ブロードキャスト前にグローバルモデルに対してもTSVDを用いて低ランク圧縮を適用する。
• 圧縮はエネルギーに基づく切り捨てに基づくもので、最大の特異値を保持し、小さい特異値を破棄することで次元を低減する。
• モデルの表現能力を十分に維持しながら通信負荷を最小限に抑えるために、ランク制約が用いられる。
• 理論的分析により、双方向圧縮メカニズムのおかげで、トレーニングの過程で通信負荷が単調に減少することが示された。
• フレームワークは、弱い仮定のもとで収束性を保つFedAvgアルゴリズムに低ランク近似を統合している。

実験結果

リサーチクエスチョン

• RQ1 双方向の低ランク圧縮は、モデル精度を損なわせることなく、フェデレーテッドラーニングにおける通信負荷を低減できるか？
• RQ2 クライアントおよびサーバーの両方のモデルを圧縮することで、モデルのコンactさに起因して推論が高速化するか？
• RQ3 圧縮ランクの選択が収束性および通信効率にどのように影響するか？
• RQ4 提案された圧縮方式のもとで、トレーニングラウンドの経過に伴い通信コストが単調に減少するか？
• RQ5 非凸最適化の標準的仮定のもとで、FedDLRの理論的収束性は保証されるか？

主な発見

• FedDLRは、クライアントおよびサーバーの両方で切り捨て特異値分解（TSVD）を用いてモデル重みを圧縮することで、帯域幅の使用量を低減し、通信負荷を削減する。
• 双方向圧縮メカニズムのおかげで、トレーニングラウンドの経過に伴い通信コストが単調に減少する。
• 理論的分析により、標準的仮定のもとでFedDLRが定常点に収束することを証明し、収束誤差の境界を示した。
• 定理2により、トレーニングの過程でモデル重みのランクが増加しないことが示された。これにより、安定性と効率性が保証される。
• 実験的結果により、FedDLRが通信効率および推論速度の両面で最先端の手法を上回ることを示した。
• モデルサイズを顕著に低減しながらも高いモデル精度を維持でき、リソース制限のあるデバイスにおける高速な推論を可能にした。