[論文レビュー] Enhancing Heterogeneous Federated Learning with Knowledge Extraction and Multi-Model Fusion

Nguyen, Duy Phuong, Sixing Yu+2 more|arXiv (Cornell University)|Aug 16, 2022

Privacy-Preserving Technologies in Data被引用数 5

ひとこと要約

本稿では、知識蒸留とマルチモデル統合を用いて異種FLを強化するリソースに配慮したフェデレーテッドラーニングフレームワーク、FedKEMを提案する。局所モデルの知識をコンパクトな知識ネットワークに蒸留し、グローバルな集約に使用することで、ResNet-32では通信コストを最大50%、VGG-11では最大10倍まで削減する一方で、非IIDおよび異種モデル設定下でも性能と一般化能力を向上させる。

ABSTRACT

Concerned with user data privacy, this paper presents a new federated learning (FL) method that trains machine learning models on edge devices without accessing sensitive data. Traditional FL methods, although privacy-protective, fail to manage model heterogeneity and incur high communication costs due to their reliance on aggregation methods. To address this limitation, we propose a resource-aware FL method that aggregates local knowledge from edge models and distills it into robust global knowledge through knowledge distillation. This method allows efficient multi-model knowledge fusion and the deployment of resource-aware models while preserving model heterogeneity. Our method improves communication cost and performance in heterogeneous data and models compared to existing FL algorithms. Notably, it reduces the communication cost of ResNet-32 by up to 50\% and VGG-11 by up to 10$ imes$ while delivering superior performance.

研究の動機と目的

• 非IIDおよびリソース制約のあるエッジ環境下で、従来のフェデレーテッドラーニングがモデルおよびデータの異種性を処理する際の限界に対処すること。
• 集約段階で全モデルパラメータの交換をコンパクトな知識ネットワークに置き換えることで、FLにおける通信オーバーヘッドを低減すること。
• マルチモデル統合と蒸留を用いて多様な局所モデルからの知識を統合することで、グローバルモデルの一般化能力と安定性を向上させること。
• クライアント固有の計算リソースに応じてモデルの複雑さを調整することで、エッジデバイス上での均等で効率的な異種モデルのデプロイを可能にすること。
• 多様なエッジハードウェアおよびデータ分布においても高いパフォーマンスを維持するスケーラブルでプライバシー保護型のFLソリューションを開発すること。

提案手法

• 各局所モデルと並列に学習される軽量な知識ネットワークを導入し、ディープ相互学習を用いてモデル知識を抽出・圧縮する。
• クライアントとサーバ間で、全モデル重みの代わりに蒸留された知識ネットワークのみを転送することで、通信コストを顕著に削減する。
• サーバ上で複数のコンパクトな知識ネットワークをアンサンブルして、頑健なグローバル知識表現を形成する多様なモデル統合を実施する。
• 統合されたグローバル知識を再びコンパクトなグローバルモデルに蒸留し、クライアントへの再配布を可能にすることで、効率的なファインチューニングを実現する。
• リソースに配慮したモデル割り当てを採用し、クライアントがメモリおよびMAC容量に応じて（例：ResNet-20, 32, 44など）モデルをデプロイすることで、異種デプロイを可能にする。
• 知識蒸留を活用することで、トレーニングラウンドにわたってモデルサイズと通信オーバーヘッドを低減しながらパフォーマンスを維持する。

実験結果

リサーチクエスチョン

• RQ1 知識蒸留とマルチモデル統合は、モデルの正確性を損なわせることなく、異種フェデレーテッドラーニングにおける通信コストを削減できるか？
• RQ2 FedKEMは、SOTAのFLベースラインと比較して、非IIDデータおよび異種クライアントモデル環境下でどのように性能を発揮するか？
• RQ3 コンパクトな知識ネットワークが、一般化能力を維持または向上させるために、グローバル集約において全モデルパラメータを置き換えることのできる範囲はどの程度か？
• RQ4 リソースに配慮したモデルデプロイは、異種エッジ環境下でのトレーニングの安定性および収束速度にどのように影響するか？
• RQ5 複数の多様なモデルからの知識の統合は、フェデレーテッドラーニングにおけるより頑健で一般化能力の高いグローバルモデルを生み出せるか？

主な発見

• FedKEMは、FedAvg や FedProx などのベースラインFL手法と比較して、ResNet-32では通信コストを最大50%、VGG-11では最大10倍まで削減する。
• 100台のクライアントとResNet-20を知識ネットワークとして使用した場合、FedKEMの通信オーバーヘッドは0.074 GBにまで低下するのに対し、FedProxは0.71 GBを要し、1桁の削減が達成された。
• ResNet-20を知識ネットワークとして使用した場合、FedKEMは49回の通信ラウンドで60%の精度を達成するが、同条件でFedNovaは123ラウンドを要する。
• 異なるクライアントモデル（例：ResNet-20, 32, 44）を用いても、70%を超える高い精度を維持することができ、マルチモデルデプロイにおける安定性を示している。
• 知識蒸留とマルチモデル統合により、過学習と分散が顕著に低減され、非IIDおよび異種設定下でのグローバルモデルの一般化能力が向上した。
• コンパクトな知識ネットワークの使用により、効率的なトレーニングと推論が可能となり、リソース制約のあるエッジデバイス上での実世界へのデプロイに適している。