[論文レビュー] AdapterFL: Adaptive Heterogeneous Federated Learning for Resource-constrained Mobile Computing Systems

Ruixuan Liu, Ming Hu+6 more|arXiv (Cornell University)|Nov 23, 2023

Privacy-Preserving Technologies in Data被引用数 4

ひとこと要約

AdapterFLは、大規模モデルと小規模モデルの部分パラメータを組み合わせることで、リソース制約のあるモバイルデバイス上で効率的に学習できる、革新的な非均質的フェデレーテッドラーニングフレームワークを提案する。非均質的かつ非IID、低リソース環境下でも、最先端の手法に比べて最大12%高い精度を達成する。

ABSTRACT

Federated Learning (FL) enables collaborative learning of large-scale distributed clients without data sharing. However, due to the disparity of computing resources among massive mobile computing devices, the performance of traditional homogeneous model-based Federated Learning (FL) is seriously limited. On the one hand, to achieve model training in all the diverse clients, mobile computing systems can only use small low-performance models for collaborative learning. On the other hand, devices with high computing resources cannot train a high-performance large model with their insufficient raw data. To address the resource-constrained problem in mobile computing systems, we present a novel heterogeneous FL approach named AdapterFL, which uses a model reassemble strategy to facilitate collaborative training of massive heterogeneous mobile devices adaptively. Specifically, we select multiple candidate heterogeneous models based on the computing performance of massive mobile devices and then divide each heterogeneous model into two partitions. By reassembling the partitions, we can generate models with varied sizes that are combined by the partial parameters of the large model with the partial parameters of the small model. Using these reassembled models for FL training, we can train the partial parameters of the large model using low-performance devices. In this way, we can alleviate performance degradation in large models due to resource constraints. The experimental results show that AdapterFL can achieve up to 12\% accuracy improvement compared to the state-of-the-art heterogeneous federated learning methods in resource-constrained scenarios.

研究の動機と目的

• モバイルおよびWoTシステムにおけるデバイスリソースの非均質性がフェデレーテッドラーニングの性能低下を引き起こす問題を解決する。
• 従来のFLの制限を克服する。特に、グローバルモデルのサイズが最低性能デバイスによって制限される問題を解消する。
• リソース制限のある低性能デバイスが効果的に貢献できる一方で、高性能デバイスが限られたローカルデータでもより大きなモデルを学習できるようにする。
• 追加のデータセットを必要とせず、デバイスの能力に応じて動的にモデルを選択・再構成する柔軟で適応的なフレームワークを設計する。
• 非IIDデータおよび変動するクライントリソース比の下でも、モデルの汎化性能とスケーラビリティを向上させる。

提案手法

• モバイルデバイスの計算能力に応じて、複数の候補となる非均質的モデル（小、中、大）を選択する。
• 各モデルを2つの機能的モジュールに分割する：特徴抽出ブロックと分類器ヘッド。
• 大規模モデルの特徴抽出ブロックと小規模モデルの分類器ヘッドを組み合わせることで、さまざまなサイズのハイブリッドモデルを再構成する。
• 再構成されたモデルをフェデレーテッド学習の形で訓練する。これにより、低性能デバイスは分類器ヘッドを学習し、高性能デバイスはより複雑な特徴抽出ブロックを学習できる。
• 一般化性能とロバストネスを向上させるために、グループベースの戦略（L-group）を用いてモデル選択と集約を最適化する。
• 共有される特徴表現を通じて、再構成されたモデル間での知識伝達を活用し、リソース制約による性能低下を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 リソース非均質性が著しいモバイルコンピューティングシステムにおいて、フェデレーテッドラーニングをどのようにしてより効果的にすることができるか？
• RQ2 ハイエンドデバイスのトレーニングデータが限られている状況で、大規模モデルと小規模モデルを再構成することで性能が向上するか？
• RQ3 非IIDデータ分布および変動するクライントリソース比の下で、提案されたAdapterFLフレームワークはどのように性能を発揮するか？
• RQ4 既存の非均質的FL手法と比較して、再構成戦略がモデル精度にどの程度向上効果をもたらすか？
• RQ5 クライント数や変動するクライントアクティベーション比が異なる条件下で、AdapterFLのスケーラビリティはどの程度か？

主な発見

• AdapterFLは、リソース制約のある環境下で、最先端の非均質的FL手法に比べて最大12%高い精度を達成する。
• CIFAR-10データセットにおいて、80%のクライントが低リソース（小規模モデル）の場合、L-group設定のAdapterFLは76.83%の精度を達成し、FedBaseを上回った。
• 80%のクライントが高性能な状況では、AdapterFLはL-Mモデルで79.32%の精度を達成し、FedBaseの72.03%を顕著に上回った。
• クライントアクティベーション比が変動する状況でもAdapterFLは高い性能を維持した。5%のアクティベーション率では、L-S設定で75.11%の精度を達成し、FedBaseの73.49%を上回った。
• クライント総数が50から500に増加した場合、AdapterFLは高い精度を維持した（例：N=50でのL-S設定では77.72% vs. FedBaseの76.29%）、これによりスケーラビリティが裏付けられた。
• L-group再構成戦略は、他の設定を常に上回り、大規模モデルの特徴抽出ブロックが汎化性能とロバストネスを向上させることを実証した。