[論文レビュー] Hierarchical Federated Learning with Quantization: Convergence Analysis and System Design

Lumin Liu, Jun Zhang+2 more|arXiv (Cornell University)|Mar 26, 2021

Privacy-Preserving Technologies in Data参考文献 21被引用数 7

ひとこと要約

本稿では、モデル量子化を組み込んだ階層型フェデレーテッドラーニングフレームワークを提案し、エッジ・クラウド間の通信遅延と量子化ノイズの両方を考慮したよりきめの細かい収束解析を提供する。この解析により、最適化された集約間隔が得られ、クライアント・エッジ間隔はゆっくりと減少させるべきであり、エッジ・クラウド間隔は遅延比に応じて適応させるべきである。シミュレーションでは、通信効率が向上し、収束が速くなることが示された。

ABSTRACT

Federated learning (FL) is a powerful distributed machine learning framework where a server aggregates models trained by different clients without accessing their private data. Hierarchical FL, with a client-edge-cloud aggregation hierarchy, can effectively leverage both the cloud server's access to many clients' data and the edge servers' closeness to the clients to achieve a high communication efficiency. Neural network quantization can further reduce the communication overhead during model uploading. To fully exploit the advantages of hierarchical FL, an accurate convergence analysis with respect to the key system parameters is needed. Unfortunately, existing analysis is loose and does not consider model quantization. In this paper, we derive a tighter convergence bound for hierarchical FL with quantization. The convergence result leads to practical guidelines for important design problems such as the client-edge aggregation and edge-client association strategies. Based on the obtained analytical results, we optimize the two aggregation intervals and show that the client-edge aggregation interval should slowly decay while the edge-cloud aggregation interval needs to adapt to the ratio of the client-edge and edge-cloud propagation delay. Simulation results shall verify the design guidelines and demonstrate the effectiveness of the proposed aggregation strategy.

研究の動機と目的

• 階層型フェデレーテッドラーニングにおけるモデル量子化のための正確な収束解析が不足している問題に取り組み、システム最適化に不可欠である。
• 量子化効果を無視し、実用的な設計を導けない既存の緩い境界の限界を克服する。
• 通信オーバーヘッドを最小限に抑えつつモデル精度を維持するため、クライアント・エッジおよびエッジ・クラウドの集約間隔を最適化するための解析的指針を提供する。
• 階層的集約と量子化を同時に考慮することで、通信効率とモデル収束のトレードオフをバランスさせる。
• 現実の遅延と量子化ノイズを反映した厳密な理論的境界に基づき、システムレベルの設計意思決定を可能にする。

提案手法

• クライアント・エッジ間およびエッジ・クラウド間の集約に量子化ノイズと可変な局所更新ステップをモデル化することで、量子化を伴う階層型FLのよりきめの細かい収束境界を導出する。
• 三段階の学習プロセスを導入：局所クライアント更新、量子化付きのエッジレベル集約、さらなる量子化を伴うクラウドレベル集約。
• 局所ステップを伴う確率的勾配降下法（SGD）を用い、パラメータ $ q_1 $ を用いたクライアント・エッジレベル、$ q_2 $ を用いたエッジ・クラウドレベルの有界量子化モデルにより、量子化誤差項を組み込む。
• 分散の分解と期待値の境界を適用し、勾配ノルムとノイズ項を含む収束上界を導出する。これにより、局所更新と量子化効果の両方が考慮される。
• 導出された境界を用いて、クライアント・エッジ間隔 $ \tau_1 $ とエッジ・クラウド間隔 $ \tau_2 $ を最適化し、$ \tau_1 $ はゆっくりと減少させ、$ \tau_2 $ は遅延比に応じてスケーリングすべきであることを示す。
• 理論的考察をシミュレーションにより検証し、最適化された集約戦略の下で、ベースラインFLおよび非最適化された階層型FLと比較して、収束が速く、通信コストが低いことが確認された。

実験結果

リサーチクエスチョン

• RQ1 モデル量子化は階層型フェデレーテッドラーニングの収束にどのように影響を与えるか。また、量子化ノイズを考慮したよりきめの細かい理論的境界を導出できるか。
• RQ2 量子化を伴う階層型FLにおける最適なクライアント・エッジ集約間隔 $ \tau_1 $ は何か。時間経過に伴いどのように調整すべきか。
• RQ3 階層型FLにおいて、通信遅延とモデル精度のバランスを取るために、エッジ・クラウド集約間隔 $ \tau_2 $ はどのように選ぶべきか。
• RQ4 クライアント・エッジ間とエッジ・クラウド間の伝播遅延比が、最適な集約戦略に与える影響は何か。
• RQ5 提案された量子化付き階層型FLフレームワークは、従来のFLと比較して、収束速度と通信効率の点でどのように異なるか。

主な発見

• 提案された収束境界は、従来の境界と比べて著しくきめが細かく、量子化を考慮していなかったため、正確なシステム設計を可能にする。
• クライアント・エッジ集約間隔 $ \tau_1 $ は、局所更新の正確さと通信頻度のバランスを取るために、時間経過に伴いゆっくりと減少させるべきである。
• エッジ・クラウド集約間隔 $ \tau_2 $ は、クライアント・エッジとエッジ・クラウド間の伝播遅延比に応じて適応させる必要がある。これにより収束時間が最小化される。
• シミュレーション結果から、最適化された集約戦略が、ベースラインFLおよび非最適化された階層型FLと比較して、トレーニング時間と通信コストを削減することが確認された。
• 理論的解析から、量子化ノイズが収束分散に寄与することが示され、その影響が導出された境界に明示的に反映されている。
• 導出された境界により、実用的なシステム最適化が可能となり、例えば最適な $ \tau_1 $ および $ \tau_2 $ の選定が可能となり、固定時間予算内でのより速い収束が達成される。