[論文レビュー] Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning

Yujun Shi, Jian Liang+3 more|arXiv (Cornell University)|Oct 1, 2022

Privacy-Preserving Technologies in Data被引用数 12

ひとこと要約

本論文は、データの非同一性が表現を低次元多様体へ劣化させる、異種フェデレーテッドラーニングにおける次元の崩壊を特定し、それに対処する。著者らは、局所学習中に表現の次元間の相関を最小化する、軽量でプラグアンドプレイな正則化手法であるFedDecorrを提案し、CIFAR10、CIFAR100、TinyImageNetにおいて強いデータ非同一性下でも、モデル性能を顕著に向上させた。

ABSTRACT

Federated learning aims to train models collaboratively across different clients without the sharing of data for privacy considerations. However, one major challenge for this learning paradigm is the {\em data heterogeneity} problem, which refers to the discrepancies between the local data distributions among various clients. To tackle this problem, we first study how data heterogeneity affects the representations of the globally aggregated models. Interestingly, we find that heterogeneous data results in the global model suffering from severe {\em dimensional collapse}, in which representations tend to reside in a lower-dimensional space instead of the ambient space. Moreover, we observe a similar phenomenon on models locally trained on each client and deduce that the dimensional collapse on the global model is inherited from local models. In addition, we theoretically analyze the gradient flow dynamics to shed light on how data heterogeneity result in dimensional collapse for local models. To remedy this problem caused by the data heterogeneity, we propose {\sc FedDecorr}, a novel method that can effectively mitigate dimensional collapse in federated learning. Specifically, {\sc FedDecorr} applies a regularization term during local training that encourages different dimensions of representations to be uncorrelated. {\sc FedDecorr}, which is implementation-friendly and computationally-efficient, yields consistent improvements over baselines on standard benchmark datasets. Code: https://github.com/bytedance/FedDecorr.

研究の動機と目的

• データ非同一性がフェデレーテッドラーニングにおける表現学習に与える影響を調査すること。
• データ非同一性下でグローバルモデルおよびローカルモデルに生じる主要な障害要因としての次元の崩壊を同定すること。
• データ非同一性が低ランクの重み行列および表現の崩壊に至るまでの勾配フローのダイナミクスを理論的に分析すること。
• 実用的で計算効率の高い方法を提案し、フェデレーテッドラーニングにおける次元の崩壊を緩和すること。

提案手法

• 局所学習中に表現の相関行列のフロベニウスノルムを最小化する正則化項であるFedDecorrを提案する。
• 相関行列を計算する前に表現にzスコア正規化を適用し、学習の安定化を図る。
• 既存のフェデレーテッドラーニングベースラインに最小限の変更で追加可能な、プラグイン型の損失成分としてFedDecorrを統合する。
• 正規化された相関行列の二乗フロベニウスノルムを正則化損失として用い、相関のない表現を促進する。
• 主タスクの損失とFedDecorr正則化損失の組み合わせでローカルモデルを学習し、標準的なFedAvgによる集約を実行する。
• FedDecorrが計算的に効率的であり、既存のフェデレーテッドラーニングフレームワークと互換性があることを実証する。

実験結果

リサーチクエスチョン

• RQ1 データ非同一性は、フェデレーテッドラーニングモデルの表現の内在次元にどのように影響するか？
• RQ2 グローバルモデルにおける次元の崩壊は、非同一なデータで学習されたローカルモデルからどの程度引き継がれるか？
• RQ3 データ非同一性下で低ランクの重み行列および表現の崩壊を引き起こす、背後にある勾配ダイナミクスのメカニズムは何か？
• RQ4 計算コストや通信コストを増加させることなく、単純で軽量な正則化項がフェデレーテッドラーニングにおける次元の崩壊を効果的に緩和できるか？

主な発見

• 強いデータ非同一性は、表現共分散行列の特異値が0に近づく数が増えることで、より深刻な次元の崩壊を引き起こすことが実証された。
• 次元の崩壊はグローバルモデルに限らず、ローカルに学習されたモデルに対しても観察され、これはローカルデータ分布に起因するシステム的問題であることを示している。
• 理論的分析により、データ非同一性が局所モデルの重みを低ランク構造へバイアスさせ、これが直接的に表現の崩壊を引き起こすことが明らかになった。
• FedDecorrは表現の相関を効果的に低減し、次元の崩壊を緩和し、複数のベンチマークデータセットで一貫した性能向上をもたらした。
• 特に高いデータ非同一性や多数のクライアントが存在する困難な設定下で、より顕著な改善効果が得られた。
• FedDecorrは計算オーバーヘッドが無視できるほど小さく、あらゆるフェデレーテッドラーニングパイプラインに、プラグアンドプレイなコンponentとしてシームレスに統合可能である。