[論文レビュー] FedRolex: Model-Heterogeneous Federated Learning with Rolling Sub-Model Extraction

Samiul Alam, Luyang Liu+2 more|arXiv (Cornell University)|Dec 3, 2022

Privacy-Preserving Technologies in Data被引用数 44

ひとこと要約

FedRolex はローリングサブモデル抽出を導入し、モデルヘテロジー連邦学習を可能にし、グローバルサーバーモデルをクライアントモデルより大きくすることで、公開データやセキュア集約の問題を回避しつつ、包括性と性能を向上させる。

ABSTRACT

Most cross-device federated learning (FL) studies focus on the model-homogeneous setting where the global server model and local client models are identical. However, such constraint not only excludes low-end clients who would otherwise make unique contributions to model training but also restrains clients from training large models due to on-device resource bottlenecks. In this work, we propose FedRolex, a partial training (PT)-based approach that enables model-heterogeneous FL and can train a global server model larger than the largest client model. At its core, FedRolex employs a rolling sub-model extraction scheme that allows different parts of the global server model to be evenly trained, which mitigates the client drift induced by the inconsistency between individual client models and server model architectures. We show that FedRolex outperforms state-of-the-art PT-based model-heterogeneous FL methods (e.g. Federated Dropout) and reduces the gap between model-heterogeneous and model-homogeneous FL, especially under the large-model large-dataset regime. In addition, we provide theoretical statistical analysis on its advantage over Federated Dropout and evaluate FedRolex on an emulated real-world device distribution to show that FedRolex can enhance the inclusiveness of FL and boost the performance of low-end devices that would otherwise not benefit from FL. Our code is available at: https://github.com/AIoT-MLSys-Lab/FedRolex

研究の動機と目的

• 異なるデバイス能力を持つクロスデバイス設定での連邦学習を動機づける。
• 大規模なグローバルモデルのすべての部位を均等に訓練するローリングサブモデル抽出機構を提案する。
• 公開データへの依存を排除し、セキュア集約との互換性を維持する。
• ローリング抽出がデータセット全体でグローバル/ローカルの精度と包括性を向上させることを示す。
• 最新の PT ベースおよび KD ベース手法との理論的および実証的比較を提供する。

提案手法

• グローバルサーバーモデルから抽出されたサブモデルを用いたモデルヘテロジーFLを形式化する。
• 各ラウンドで容量に基づきクライアント用のサブモデルを選択するローリングウィンドウサブモデル抽出方式を導入し、すべてのサーバーパラメータがラウンドを通じて均等に訓練されるようにする。
• クライアント重み付けを行わず、選択的平均化によって不均一なサブモデルの更新を集約する。
• グローバルサーバーモデルを最大クライアントモデルより大きくすることを許可する。
• ローリング抽出をランダム（Federated Dropout）および静的（HeteroFL, FjORD）抽出スキームと、理論的および経験的分析で比較する。
• 小規模モデル小規模データセット（CIFAR-10/100）および大規模モデル大規模データセット（Stack Overflow）レジームで評価する。

実験結果

リサーチクエスチョン

• RQ1 ローリングサブモデル抽出は、クライアントドリフトを緩和しつつ、最大クライアントモデルより大きいグローバルサーバーモデルを訓練できるか？
• RQ2 収束性、精度、包括性の観点で FedRolex はランダムおよび静的サブモデル抽出とどう比較されるか？
• RQ3 異質なクライアント容量とデータ分布の下で FedRolex はグローバルおよびローカルの精度を向上させるか？
• RQ4 FedRolex はセキュア集約と公開データ要件の回避に適合しているか？
• RQ5 クライアントモデルのヘテロジニティ分布が性能に与える影響は何か？

主な発見

手法	高データ不均一性（CIFAR-10）	高データ不均一性（CIFAR-100）	低データ不均一性（CIFAR-10）	低データ不均一性（CIFAR-100）	Stack Overflow
KD-based FedDF	73.81 (±0.42)	31.87 (±0.46)	76.55 (±0.32)	37.87 (±0.31)	N/A
DS-FL	65.27 (±0.53)	29.12 (±0.51)	68.44 (±0.47)	33.56 (±0.55)	N/A
Fed-ET	78.66 (±0.31)	35.78 (±0.45)	81.13 (±0.28)	41.58 (±0.36)	N/A
HeteroFL	63.90 (±2.74)	52.38 (±0.80)	73.19 (±1.71)	57.44 (±0.42)	N/A
Federated Dropout	46.64 (±3.05)	45.07 (±0.07)	76.20 (±2.53)	46.40 (±0.21)	N/A
FedRolex	69.44 (±1.50)	56.57 (±0.15)	84.45 (±0.36)	58.73 (±0.33)	29.22 (±0.24)
Homogeneous (smallest)	38.82 (±0.88)	12.69 (±0.50)	46.86 (±0.54)	19.70 (±0.34)	27.32 (±0.12)
Homogeneous (largest)	75.74 (±0.42)	60.89 (±0.60)	84.48 (±0.58)	62.51 (±0.20)	29.79 (±0.32)

• FedRolex は、小規模モデル・小規模データセットおよび大規模モデル・大規模データセットのスキームの両方で最先端の PT ベースのモデルヘテロジオ FL 手法を上回る。
• FedRolex はモデルヘテロジニアスとモデルヘモジニアス FL のギャップを縮め、特に大規模モデル・大規模データセットの状況で顕著である。
• FedRolex の下では、少数の大容量クライアントがグローバルモデルの精度を大幅に向上させる可能性がある。
• FedRolex は最大クライアントモデルより大きいグローバルサーバーモデルを訓練でき、グローバル精度で Federated Dropout を上回る。
• 現実世界のデバイス分布をエミュレートした結果、FedRolex は包括性を高め、低エンドデバイスの性能を改善する。