[論文レビュー] Layer-wise Adaptive Model Aggregation for Scalable Federated Learning

Sunwoo Lee, Tuo Zhang+2 more|arXiv (Cornell University)|Oct 19, 2021

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

本稿では、フェデレーテッドラーニングにおけるレイヤーごとの適応的モデルアグリゲーション手法であるFedLAMAを提案する。この手法は、各レイヤーの固有のモデル差違と通信コストに基づき、動的にアグリゲーション間隔を調整する。差違が大きいレイヤーは頻繁に同期され、安定したレイヤーは更新が遅延される。これにより、通信オーバーヘッドを削減しつつ、精度の低下を最小限に抑え、非IIDデータ設定が変化する状況下でも、周期的全アグリゲーションを上回る性能を発揮する。

ABSTRACT

In Federated Learning, a common approach for aggregating local models across clients is periodic averaging of the full model parameters. It is, however, known that different layers of neural networks can have a different degree of model discrepancy across the clients. The conventional full aggregation scheme does not consider such a difference and synchronizes the whole model parameters at once, resulting in inefficient network bandwidth consumption. Aggregating the parameters that are similar across the clients does not make meaningful training progress while increasing the communication cost. We propose FedLAMA, a layer-wise model aggregation scheme for scalable Federated Learning. FedLAMA adaptively adjusts the aggregation interval in a layer-wise manner, jointly considering the model discrepancy and the communication cost. The layer-wise aggregation method enables to finely control the aggregation interval to relax the aggregation frequency without a significant impact on the model accuracy. Our empirical study shows that FedLAMA reduces the communication cost by up to 60% for IID data and 70% for non-IID data while achieving a comparable accuracy to FedAvg.

研究の動機と目的

• フェデレーテッドラーニングにおける周期的全モデルアグリゲーションの非効率性に起因する、クライアント間で差違が異なるにもかかわらず全レイヤーを均一に同期するという問題に対処すること。
• バンドウェイ制限のあるフェデレーテッド環境において、クライアント間で類似したパラメータの重複した同期を最小限に抑えることで、通信コストを削減すること。
• 差違が小さいレイヤーに対してはアグリゲーション間隔を意図的に延長することで、性能の著しい低下を伴わずに同期頻度を緩和し、モデルの収束性と精度を維持すること。
• 通信効率とモデル精度の両者を同時に最適化する、原則的でレイヤーごとの適応的アグリゲーション戦略を提供すること。
• 非IIDデータ分布および異なるシステム構成下での複数のベンチマークデータセットを用いて、本手法の実証的妥当性を検証すること。

提案手法

• FedLAMAは、クライアント間の勾配ノルムまたはパラメータ分散に基づく、新たな差違指標を用いて、実行時におけるレイヤーごとのモデル差違を推定する。
• 全モデル差違に与えるレイヤーの寄与度を評価し、差違が小さいレイヤーに対しては長期間のアグリゲーション間隔を割り当てる。
• 各レイヤーのアグリゲーション間隔は、差違レベルと通信コストのトレードオフに基づき、要因φを用いて適応的に延長される。
• 訓練フェーズの初めに一度だけ全モデル同期が実行され、その後、現在の差違推定値に基づきレイヤーごとの間隔が更新される。
• 本手法は、量子化やスパarsificationなどの既存の圧縮技術と統合可能であり、通信量削減の補完的戦略として機能する。
• 非IIDデータ下での滑らかで非凸な最適化問題に対して、理論的収束解析が提供され、提案された適応的スキーム下での収束保証が確立されている。

実験結果

リサーチクエスチョン

• RQ1 非IIDデータ下で、レイヤーごとの適応的アグリゲーションは、周期的全アグリゲーションと比較して通信効率とモデル精度の面でどのように異なるか？
• RQ2 レイヤー固有のアグリゲーション間隔戦略は、モデル性能を著しく低下させることなく通信コストを削減できるか？
• RQ3 フェデレーテッド環境下で、レイヤーごとのモデル差違を効果的に推定する最適な方法は何か？
• RQ4 要因φの増加幅が、異なるデータセットおよびデータ分布下で収束性と精度に与える影響は何か？
• RQ5 非凸的かつ非IIDなフェデレーテッドラーニング環境下でも、適応的アグリゲーション戦略は収束保証を維持できるか？

主な発見

• FedLAMAは、アグリゲーション間隔が延長されるに従い、FedAvgと比較して顕著に精度の低下が小さく抑えられ、特にCIFAR-100およびFEMNISTの非IIDデータ下で、高頻度の間隔で1.5–2%の精度向上を達成した。
• CIFAR-10で100%のクライアント参加、ディリクレ係数0.1の条件下、φ=1（ベースライン）のFedLAMAはτ′=6で89.52%の精度を達成したが、FedAvgはτ′=24で84.82%まで低下した。
• 25%のアクティブクライアント、ディリクレ係数0.1の条件下、FedLAMAはτ′=12で86.07%の精度を維持したが、FedAvgはτ′=24で76.72%まで低下した。
• CIFAR-100で100%のクライアント参加、ディリクレ係数0.1の条件下、FedLAMAはτ′=6で79.78%の精度を達成したが、FedAvgはτ′=24で69.63%まで低下した。
• FEMNISTでは50%のアクティブクライアント、φ=1の条件下で、FedLAMAは86.59%の精度を達成し、FedAvgのτ′=12での85.74%を上回った。
• 本手法は、非IIDの度合いが変化する状況下でも、高いロバストネスを示し、特にディリクレ係数0.1という高い非IID設定下でも一貫した性能向上を示した。